The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5, opennews (??), 02-Апр-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


35. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +1 +/
Сообщение от vitektm (?), 03-Апр-24, 12:38 
пара компов с 128Гб и  пара по 32Гб
Раньше десктопные больше 128Гб не поддерживали

ну так что 256/512Гб дома думаю реально, через пару лет. Ну или сейчас но старые процы с али.
Ну и это вообще за недорого.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

41. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (42), 03-Апр-24, 14:31 
AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.
Ответить | Правка | Наверх | Cообщить модератору

50. "Databricks открыл большую языковую модель DBRX, опережающую ..."  –1 +/
Сообщение от pelmaniac (?), 03-Апр-24, 18:40 
>AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.

вы вообще не в теме. речь про VRAM. ты в эту материну 8 тесл засунешь с 80 ГБ? если нет, то щвaбоден ;)

Ответить | Правка | Наверх | Cообщить модератору

58. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от а што не так (?), 04-Апр-24, 10:09 
Нет, нейросеть запускается на CPU  и речь про RAM. Про видеопамять ничего на гитхабе не сказано.
Ответить | Правка | Наверх | Cообщить модератору

61. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (61), 04-Апр-24, 13:53 
> Нет, нейросеть запускается на CPU  и речь про RAM.

Да, вполне работает на CPU. Только чем больше модель тем медленнее она будет щевелится. Уже 70B модель на восьмиядерном процессоре работает как пошаговая стратегия: написал письмо и ждешь ответа.
Сами попробйте покрутить разные модели в LM Studio или Coboldcpp. Во всем наглядно убедитесь. Видеокарта дает хороший буст в скорости (если в нее хотя бы половина слоев модели влезает).

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру