The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5, opennews (??), 02-Апр-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


12. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Ананоним (?), 03-Апр-24, 04:11 
У кого-то дома есть 320GB ОЗУ?
Ответить | Правка | Наверх | Cообщить модератору

14. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +6 +/
Сообщение от Romanemail (??), 03-Апр-24, 06:21 
> У кого-то дома есть 320GB ОЗУ?

Ну, если во всём доме, то...

Ответить | Правка | Наверх | Cообщить модератору

17. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (27), 03-Апр-24, 06:50 
У кого-то дома есть оптимизированные алгоритмы (серьезное усложнение структуры нейронов в узлах), что позволило обойтись 1 Гб ОЗУ.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

23. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (42), 03-Апр-24, 08:32 
И кор2дуо!
Ответить | Правка | Наверх | Cообщить модератору

26. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (27), 03-Апр-24, 09:16 
Обижаете. G530.
Ответить | Правка | Наверх | Cообщить модератору

64. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (64), 05-Апр-24, 03:07 
Не поверишь, но ещё в 2000-х в универе мы писали код для распознавания капчи на основе нейронок. Обойтись можно было парой мегабайт. Так что, твои алгоритмы вряд ли что-то более сложное, чем обыкновенный перцептрон.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

25. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (11), 03-Апр-24, 08:56 
Ну, в принципе, 1 планка памяти до 512 сейчас, 256 уже есть. Но тут наверно 4 видеокарты требуется.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

35. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +1 +/
Сообщение от vitektm (?), 03-Апр-24, 12:38 
пара компов с 128Гб и  пара по 32Гб
Раньше десктопные больше 128Гб не поддерживали

ну так что 256/512Гб дома думаю реально, через пару лет. Ну или сейчас но старые процы с али.
Ну и это вообще за недорого.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

41. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (42), 03-Апр-24, 14:31 
AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.
Ответить | Правка | Наверх | Cообщить модератору

50. "Databricks открыл большую языковую модель DBRX, опережающую ..."  –1 +/
Сообщение от pelmaniac (?), 03-Апр-24, 18:40 
>AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.

вы вообще не в теме. речь про VRAM. ты в эту материну 8 тесл засунешь с 80 ГБ? если нет, то щвaбоден ;)

Ответить | Правка | Наверх | Cообщить модератору

58. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от а што не так (?), 04-Апр-24, 10:09 
Нет, нейросеть запускается на CPU  и речь про RAM. Про видеопамять ничего на гитхабе не сказано.
Ответить | Правка | Наверх | Cообщить модератору

61. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (61), 04-Апр-24, 13:53 
> Нет, нейросеть запускается на CPU  и речь про RAM.

Да, вполне работает на CPU. Только чем больше модель тем медленнее она будет щевелится. Уже 70B модель на восьмиядерном процессоре работает как пошаговая стратегия: написал письмо и ждешь ответа.
Сами попробйте покрутить разные модели в LM Studio или Coboldcpp. Во всем наглядно убедитесь. Видеокарта дает хороший буст в скорости (если в нее хотя бы половина слоев модели влезает).

Ответить | Правка | Наверх | Cообщить модератору

49. "Databricks открыл большую языковую модель DBRX, опережающую ..."  –3 +/
Сообщение от pelmaniac (?), 03-Апр-24, 18:38 
>У кого-то дома есть 320GB ОЗУ?

ты не поверишь, но речь про 320ГБ ВИДЕОПАМЯТИ! в селектеле такие дедики 3-5 лимонов в месяц стоят.

а 320 ГБ рамы это попса, тыщ 30 и оно твоё.

БЯМ для богатых пацанов...

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

54. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +2 +/
Сообщение от Аноним (54), 03-Апр-24, 20:11 
> 320ГБ ВИДЕОПАМЯТИ!

Взаимозаменяемо с небольшой потерей производительности. Так что не в теме тут именно ВЫ.

Ответить | Правка | Наверх | Cообщить модератору

56. "Databricks открыл большую языковую модель DBRX, опережающую ..."  –2 +/
Сообщение от pelmaniac (?), 03-Апр-24, 21:46 
>с небольшой потерей производительности

вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке )

Ответить | Правка | Наверх | Cообщить модератору

62. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (61), 04-Апр-24, 14:39 
> вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке )

Зависит от целей и задач. Если на этом деньги зарабатываешь, то и вложиться в аренду мощностей не грех. А чтоб из любопытства палочкой потыкать, то и на тухлом CPU модели крутить можно.

Ответить | Правка | Наверх | Cообщить модератору

65. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Аноним (65), 06-Апр-24, 15:16 
Только CPU не умеет в float16 считать, нужно приводить к стандартной плавучке одинарной точности. Так что 640 ГБ RAM и расчёты существенно медленнее.
Ответить | Правка | Наверх | Cообщить модератору

66. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от s (?), 11-Апр-24, 00:23 
А зачем тебе FP16? Чем INT8 не устраивает?
Ответить | Правка | Наверх | Cообщить модератору

63. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +1 +/
Сообщение от Аноним (64), 05-Апр-24, 03:00 
> покупают/арендуют кластеры с GPU

И снова газификация луж. Объясняю: кластеры арендуют либо для бизнес-задач, коммерции, либо для обучения. Ты уж если не в теме, то... кхм, скажу словами классика: "молчать и слушать, молчать и слушать, что вам говорят".

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

57. "Databricks открыл большую языковую модель DBRX, опережающую ..."  +/
Сообщение от Дмитрий (??), 04-Апр-24, 09:55 
Если нужно можно недорого купить
https://video.simplex-software.ru/w/jezYPKBYPWDrwDaLqJs1UC
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру