forum.opennet.ru - "Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok" (111)

"Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok"	+/–
Сообщение от opennews (??), 18-Мрт-24, 11:57
Компания xAI, основанная Илоном Маском и получившая около миллиарда долларов на развитие технологий, связанных искусственным интеллектом, объявила об открытии большой языковой модели Grok, применяемой в чатботе, интегрированном в социальную сеть X (Twitter). Набор весовых коэффициентов, архитектура нейронной сети и примеры использования опубликованы под лицензией Apache 2.0. Для загрузки доступен готовый к применению архив с моделью, размером 296 ГБ (magnet)... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=60801
Ответить \| Правка \| Cообщить модератору

Оглавление

Ну спасибо,это они конечно помогли 4070 хватит Качаю и проверю , Аноним (1), 11:57 , 18-Мрт-24, (1)

Не хватит Забей пока на эту модель, пока там прошаренные не разберутся , мяя (?), 12:02 , 18-Мрт-24, (3) +1

А сколько надо памяти Есть ещё 3090, Аноним (1), 12:02 , 18-Мрт-24, (4)

Чем больше, тем лучше https habana ai products gaudi2 https www nvidia com , Аноним (7), 12:10 , 18-Мрт-24, (7) +4

Должно же быть референсное значение, а не всё хорошее против всего плохого , Аноним (11), 12:25 , 18-Мрт-24, (11) +1

Обычно, если половина модели в память помещается, то производительность становит, ptr (ok), 17:55 , 18-Мрт-24, (65) +2
Там больше 400 гигабайт видеопамяти надо 3090 не хватит даже 10 штук , X86 (ok), 01:28 , 19-Мрт-24, (95)

Ну так возьми 20 , Аноним (100), 08:28 , 19-Мрт-24, (100) +1

На каждый GPU, для получения приемлемой производительности, нужно хотя бы 8 лини, ptr (ok), 09:15 , 19-Мрт-24, (104) +1

Да, поддерживает только pcie4 Надо хотя бы pcie5 с другой стороны подключать с, Аноним (100), 10:50 , 19-Мрт-24, (109) –1

Обычно чуть больше, чем сама модель 300 гигов Сколько там на твоей 3090, гиго, ОноНим (?), 10:07 , 20-Мрт-24, (116)

на 3090 24 гигабайта памяти , X86 (ok), 08:00 , 21-Мрт-24, (121)

Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и г, сщта (?), 12:04 , 18-Мрт-24, (6)
если квант 8 битный, то 8 штук h100 по 80 гб 360 гб в суммеесли 4 бит, то приме, Эксперт (?), 12:58 , 18-Мрт-24, (13) +4

80 8 640, что имелось в виду У 4090 вроде всего 24 гигабайта, Аноним (100), 14:29 , 18-Мрт-24, (32) –1

какая еще 4090 забудьте микрогеймерские затычки Tesla H100 ставят для таких де, x (?), 15:47 , 18-Мрт-24, (40) +7

Одной Тут целый парк нужен , Аноним (25), 14:00 , 18-Мрт-24, (25)
Гиблое дело Даже с разделением памяти видюхи и оперативки не взлетит Поиграться, Аноним (50), 16:50 , 18-Мрт-24, (50)
Вот столько должно быть VRAM Если столько VRAM RAM, будет медленней Может сдел, Аноним (91), 00:35 , 19-Мрт-24, (91)

АЛИСА, что-ли , Аноним (2), 12:01 , 18-Мрт-24, (2) –2

Да, Аноним12345 (?), 12:20 , 18-Мрт-24, (8) –2
Алиса не LLM Там древний подход на основе интентов Нейросеть используется толь, Шарп (ok), 12:21 , 18-Мрт-24, (9) +3

Уже ЛЛМ, но кажется какой-то тюненый вариант https yandex ru alice beta, Анонус (?), 13:00 , 18-Мрт-24, (14) –1

Спросил у нее Говорит, что нет , Аноним (2), 14:33 , 18-Мрт-24, (33) +2

Спросил у ИИ, является ли он ИИ Ответил, что нет , Аноним (66), 17:59 , 18-Мрт-24, (66) +1

а зачем по-вашему мелафон , dannyD (?), 18:13 , 18-Мрт-24, (70)

Мне ответила, что да, размер - 1 6 миллиардов параметров, Аноним (89), 23:09 , 18-Мрт-24, (89)

Мне кажется, что Алиса сама не знает, как она устроена и придумывает факты С 1,6, Аноним (50), 09:03 , 19-Мрт-24, (102) +1

разбудите когда она научится озвучивать и пересказывать порно фильмы , cheburnator9000 (ok), 20:50 , 18-Мрт-24, (84) +1

Алиса никогда не будет озвучивать порно потому, что зацензурирована Меня больше , Аноним (50), 08:30 , 19-Мрт-24, (101) +2

потому что твоя болтовня стоит яндексу денег, namenotfound (?), 15:53 , 20-Мрт-24, (119) +2
майор не успевает от руки переписывать и в папочку подшивать, нейм (?), 12:02 , 24-Мрт-24, (123) +1

REDUCE дистрибутив чуть более, чем 20 Мб не годится , Аноним (2), 12:04 , 18-Мрт-24, (5)

Можно ссылку , Другой анон (?), 15:05 , 18-Мрт-24, (37)

Видимо http www reduce-algebra com имелось в виду , Аноним (38), 15:14 , 18-Мрт-24, (38)
https sourceforge net projects reduce-algebra Также книжка на русском есть , Аноним (53), 17:28 , 18-Мрт-24, (53)

Мы в MatLab делали Было забавно В любом случае, это всё не то В ВУЗ идут им, Аноним (45), 16:44 , 18-Мрт-24, (45)

В инженерном деле можно А также для проверки , Аноним (53), 17:33 , 18-Мрт-24, (57)

REDUCE - это извращение Современная математика плюс-минус есть только в FriCAS , Аноним (96), 05:01 , 19-Мрт-24, (96)

Извращение - это когда увеличивают память, количество ядер и частоту вместо вмес, Аноним (2), 07:25 , 19-Мрт-24, (98)

Оказывается это Илон Маск друг опенсорса, а вы его ругали , Аноним (11), 12:23 , 18-Мрт-24, (10)

https opennet ru 53083-falcon9, Аноним (7), 12:47 , 18-Мрт-24, (12) +3
А переписка с Сутскевером https openai com blog openai-elon-musk утверждает об, Аноним (24), 13:32 , 18-Мрт-24, (24)

Если только с позиции Сутскевера , Аноним (124), 08:36 , 26-Мрт-24, (124)

Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу и н, Вы забыли заполнить поле Name (?), 13:05 , 18-Мрт-24, (15)

Ага А потом Маск допрет сделать то же самое И тут ты такой, с кредитом на маши, Аноним (-), 16:53 , 18-Мрт-24, (52)

Мечтай Такая строчка в резюме еще 10 лет кормить будет , голос из леса (?), 19:30 , 18-Мрт-24, (81)

Ну вот как рах тебя и вышибут из уже почти совсем оплаченной квартиры - чтобы дж, Аноним (-), 22:10 , 18-Мрт-24, (88) +1

Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достуча, Аноним (16), 13:06 , 18-Мрт-24, (16) +2

И так по 10 минут музыку слушаешь в ожидании Кожаные мешки обгадились в который, сщта (?), 13:17 , 18-Мрт-24, (17) +2

Это еще вот зачем Видимокарта и ее охлаждение - деньгов стоют Так что СНАЧАЛА п, Маск (?), 14:28 , 18-Мрт-24, (31) +3

А смысл до него достукиваться Чем он тебе из своего Улан-Удэ поможет , Chel (?), 13:19 , 18-Мрт-24, (19) +2
Только когда оно станет работать на тостерах и пылесосах Пока ей нужно вот это , Anonim (??), 14:09 , 18-Мрт-24, (26) +1

не будут 8212 мешкам надо зряплату платить Несколько зряплат как раз на карт, Аноним (24), 14:13 , 18-Мрт-24, (28) –1

А тот кластер инстансев с GPU для прокручивания того добра на меньшем не зарабо, Anonim (??), 14:23 , 18-Мрт-24, (29)

Там еще толпу админов и разрабов нужно в этот кластер Эффективный манагер мышко, Anonim (??), 14:26 , 18-Мрт-24, (30) +1

Зачем DGX GH200 что-то помимо макбука , Аноним (100), 14:58 , 18-Мрт-24, (34) +1

всего каких-то 24 стойки, кстати, для справки, Аноним (100), 15:02 , 18-Мрт-24, (36)

Потому что робота украдут, а тот, кто украдёт таджика 8212 сам об этом крупно, Аноним (39), 15:31 , 18-Мрт-24, (39) +1

И так давно уже навтыкали роботов Я так им и пишу отвали робот, позови челове, Аноним (45), 16:46 , 18-Мрт-24, (46) +3

Облом С моими 64 гигами памяти больше 70В не запустить , Аноним (50), 13:18 , 18-Мрт-24, (18) +1

Вот так так топовое профессиональное железо превращается в кор два дуба Рекомен, сщта (?), 13:19 , 18-Мрт-24, (20) +1

Топовым мой Ryzen 7 2700 был лет пять назад А сейчас это просто калькулятор Бол, Аноним (50), 13:26 , 18-Мрт-24, (23) –1

Мощно протроллил тех кто тут всерьез сидит с калькуляторов типа кор два дуба И , Аноним (-), 17:46 , 18-Мрт-24, (62) +1

У меня rk3566 с 4гб оперативы и мне хватает, работает как терминал клиент фактич, Мне хватает (?), 07:45 , 19-Мрт-24, (99)

почему только 64Gb Разве венда не поддерживает терабайты ОЗУ Подумаешь, немног, Аноним (45), 16:49 , 18-Мрт-24, (48) +1
Была публикация, что китайские ученые при решении некоторой задачи за счет оптим, Аноним (53), 17:37 , 18-Мрт-24, (58)

Посчитай затраты на человеко-часы такоц оптимизации и на эквивалент в банальном , Аноним (-), 17:43 , 18-Мрт-24, (61)

Придется поработать, да Но есть один нюанс Оптимизированная задача будет испол, Аноним (2), 09:16 , 19-Мрт-24, (105)

400 гб видеопамяти - это не суперкомпьютер Просто корпорациям не нужно жмотитьс, X86 (ok), 08:07 , 21-Мрт-24, (122)

Году эдак в 1989-м, я, будучи студентотою на базе нпо машиностроение прилежно ко, beck (??), 18:38 , 18-Мрт-24, (73)

ну не надо думать что в китае дураки, так помнится сша думали, когда после распа, 1 (??), 19:23 , 18-Мрт-24, (80)

Цензура есть , Аноним (24), 13:20 , 18-Мрт-24, (21)

Опять собираешься написать у ем слово мел , Аноним (45), 16:50 , 18-Мрт-24, (51) –1
Установив модель на свой комп ты можешь делать с ней что хочешь Естественно, в , Аноним (-), 17:40 , 18-Мрт-24, (60)

Опечатка в слове инвесторы , Аноним (66), 18:00 , 18-Мрт-24, (67)

Любое государство это 171 стационарный бандит 187 Инвесторы, как и любой кр, Аноним (-), 18:08 , 18-Мрт-24, (69) –1

Мне AI сочиняет хвалебные поэмы про Ленина Обожаю их читать Даже иллюстрации нар, Аноним (50), 18:00 , 18-Мрт-24, (68) –1

поэму в студию я хочу видеть этого человека с , 1 (??), 19:09 , 18-Мрт-24, (75)

Я такое боюсь публиковать Там такая трешевая тема и содержание Вдруг это оскор, Аноним (50), 19:15 , 18-Мрт-24, (76)

да ладно, ну не сша, не закенселят, 1 (??), 19:19 , 18-Мрт-24, (79) –1

Лет десять дам ему всего, за пропаганду чегонельзяназывать , товарищ майор (?), 21:21 , 18-Мрт-24, (87) –1

ссылку добавьте https huggingface co xai-org grok-1, Аноним (24), 13:22 , 18-Мрт-24, (22)
о, как раз для местных сидельцев на третьем пне 300 ГБ винты с ИДЕ точно были, , Аноним (41), 16:11 , 18-Мрт-24, (41) +1

Если с ИДЕ винта грузить данные, то скорость генерации токенов будет просто волш, Проыыфыс (?), 16:26 , 18-Мрт-24, (43)

Главный вопрос жизни, вселенной и вообще Через 10 лет ответ на третьем пне сгене, Аноним (50), 16:37 , 18-Мрт-24, (44)

ну так вроде 7 миллионов лет считалось в оригинале, крутой третий пень то оказыв, 1 (??), 19:04 , 18-Мрт-24, (74) +1

На IDE были даже терабайтники, правда мало Причем на IDE133 750 ГБ юзал лично , Alexey V. Pautov (?), 20:57 , 18-Мрт-24, (85)

То были универсальные банки Продавались в одном корпусе, как с IDE, так и с SAT, Михаил Сергеевич (?), 00:36 , 19-Мрт-24, (92) +1

Дык возьми btrfs или bcachefs, набей веников в бигтауэр, и будет тебе новая поша, Аноним (-), 16:49 , 18-Мрт-24, (49)
Ты тоже будешь через несколько лет сидеть на каком-нибудь мак про м3, который к , Аноним (-), 17:38 , 18-Мрт-24, (59) +1
Были самсунги 500ки IDE, через меня проходили эти диски , doorsfan (?), 21:04 , 18-Мрт-24, (86)

Эти банки были последними устройствами, которые поддерживали как IDE, так и SATA, Михаил Сергеевич (?), 00:34 , 19-Мрт-24, (90) +1

Чет пустая какая то репа https github com xai-org grok-1 tree main, K_AHTOH (ok), 16:20 , 18-Мрт-24, (42) –3

ну магнет есть на веса, 1 (??), 19:17 , 18-Мрт-24, (78)

Нихрена себе, это Элон Маск забэкапал свой мозг чтоли , Аноним (-), 16:48 , 18-Мрт-24, (47) +1

Всего лишь водна клетка человеческого организма с размером ДНК 6 миллиардов ос, Михаил Сергеевич (?), 00:44 , 19-Мрт-24, (94) +1

Представить даже боюсь какое железо для этого нужно, чтобы оно хотя бы просто ше, Аноним (-), 17:31 , 18-Мрт-24, (56) +1

https www opennet ru opennews art shtml num 59840, Аноним (7), 15:56 , 19-Мрт-24, (112) +1

Мудрое название для модели Хайнлайн аплодирует , Аноним (63), 17:46 , 18-Мрт-24, (63)

Когда сказать нечего, но хочется блеснуть умом Даже крохотная Mistral 7B модел, Проыыфыс (?), 07:27 , 21-Мрт-24, (120)

Чтоб это затестить, придётся арендовать майнинг ферму 129322 Явно не для конс, Михаил Сергеевич (?), 00:39 , 19-Мрт-24, (93) +3
Читал, к лету 2023 завершат работу над GPT-5, говорили что это будет чуть ли не , Аноним (103), 09:08 , 19-Мрт-24, (103) +2

Подозреваю, что модель есть, но нужно новое поколение железа, чтобы ее можно был, Аноним (50), 09:21 , 19-Мрт-24, (106)
Gpt-4 пока не впечатляет Сносно по сравнению с gpt-3 и тем более gpt-2, но это , Аноним (100), 11:53 , 19-Мрт-24, (110)

Под узкозаточенные задачи ИИ может быть офигительно эффективным уже сейчас А поп, Аноним (50), 13:14 , 19-Мрт-24, (111)

Согласен Модели на основе llama с несоизмеримо меньшим кол-вом параметров, но н, Аноним (-), 18:46 , 19-Мрт-24, (113)

Это проблема непонимания контекста заданного тобою ввода Например, пишешь 171, Аноним (-), 18:54 , 19-Мрт-24, (114) +1

Нет, ты говоришь сгенерируй мне sql, а тебе в ответ код с малоприметными ошибкам, Аноним (100), 23:15 , 19-Мрт-24, (115)

Живые программисты в таком же стиле работают Так что производительность труда в, Аноним (117), 11:34 , 20-Мрт-24, (117) +1

Проблема в том, что там ошибки такие, которые здоровый человек не допустит никак, Аноним (100), 14:39 , 20-Мрт-24, (118)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 18-Мрт-24, 11:57 +/–

>Для тестирования требуется GPU c большим объёмом памяти (каким именно не уточняется)
Ну спасибо,это они конечно помогли.4070 хватит? Качаю и проверю.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #6, #13, #25, #50, #91

2. Сообщение от Аноним (2), 18-Мрт-24, 12:01 –2 +/–

> Yandex YaLM - 100 млрд
АЛИСА, что-ли?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #8, #9

3. Сообщение от мяя (?), 18-Мрт-24, 12:02 +1 +/–

Не хватит. Забей пока на эту модель, пока там прошаренные не разберутся.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #4

4. Сообщение от Аноним (1), 18-Мрт-24, 12:02 +/–

А сколько надо памяти?Есть ещё 3090

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #7, #65, #95, #116

5. Сообщение от Аноним (2), 18-Мрт-24, 12:04 +/–

> решение вузовских математических задач
REDUCE (дистрибутив чуть более, чем 20 Мб) не годится?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #37, #45, #96

6. Сообщение от сщта (?), 18-Мрт-24, 12:04 +/–

Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и гиов 60 видеорамы. Ему мало.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

7. Сообщение от Аноним (7), 18-Мрт-24, 12:10 +4 +/–

>А сколько надо памяти?
Чем больше, тем лучше:
https://habana.ai/products/gaudi2/
https://www.nvidia.com/en-us/data-center/a100/

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #11

8. Сообщение от Аноним12345 (?), 18-Мрт-24, 12:20 –2 +/–

Да

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

9. Сообщение от Шарп (ok), 18-Мрт-24, 12:21 +3 +/–

Алиса не LLM. Там древний подход на основе интентов. Нейросеть используется только в режиме "болталаки".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #14

10. Сообщение от Аноним (11), 18-Мрт-24, 12:23 +/–

Оказывается это Илон Маск друг опенсорса, а вы его ругали.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #12, #24

11. Сообщение от Аноним (11), 18-Мрт-24, 12:25 +1 +/–

Должно же быть референсное значение, а не всё хорошее против всего плохого.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

12. Сообщение от Аноним (7), 18-Мрт-24, 12:47 +3 +/–

https://opennet.ru/53083-falcon9

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

13. Сообщение от Эксперт (?), 18-Мрт-24, 12:58 +4 +/–

если квант 8 битный, то 8 штук h100 по 80 гб. 360 гб в сумме
если 4 бит, то примерно в два раза меньше, не считая размера окна контекста
2 бита - вопросы к качеству, но если цель просто запустить, посмотреть, то в связку rtx 4090(3090) + 192 гб озу должно влезть. скорость инференса сложно прикинуть, но скорее всего будет больно

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #32

14. Сообщение от Анонус (?), 18-Мрт-24, 13:00 –1 +/–

Уже ЛЛМ, но кажется какой-то тюненый вариант.
https://yandex.ru/alice/beta

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #33, #84

15. Сообщение от Вы забыли заполнить поле Name (?), 18-Мрт-24, 13:05 +/–

> дополнение кода на языке Python (HumanEval) и решение вузовских математических задач
Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу (и не только).

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #52

16. Сообщение от Аноним (16), 18-Мрт-24, 13:06 +2 +/–

Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достучаться до живого оператора будет вообще невозможно :)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #19, #26, #46

17. Сообщение от сщта (?), 18-Мрт-24, 13:17 +2 +/–

И так по 10 минут музыку слушаешь в ожидании. Кожаные мешки обгадились в который раз. Это чудо-юдо хоть со всеми вместе одновременно трещать сможет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #31

18. Сообщение от Аноним (50), 18-Мрт-24, 13:18 +1 +/–

> 314 миллиардов параметров
Облом. С моими 64 гигами памяти больше 70В не запустить.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20, #48, #58

19. Сообщение от Chel (?), 18-Мрт-24, 13:19 +2 +/–

А смысл до него достукиваться? Чем он тебе из своего Улан-Удэ поможет?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

20. Сообщение от сщта (?), 18-Мрт-24, 13:19 +1 +/–

Вот так так топовое профессиональное железо превращается в кор два дуба. Рекомендую Антикс.)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #23

21. Сообщение от Аноним (24), 18-Мрт-24, 13:20 +/–

Цензура есть?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #51, #60

22. Сообщение от Аноним (24), 18-Мрт-24, 13:22 +/–

ссылку добавьте https://huggingface.co/xai-org/grok-1

Ответить | Правка | Наверх | Cообщить модератору

23. Сообщение от Аноним (50), 18-Мрт-24, 13:26 –1 +/–

> топовое профессиональное железо превращается в кор два дуба.
Топовым мой Ryzen 7 2700 был лет пять назад. А сейчас это просто калькулятор.
> Рекомендую Антикс.)
Больше зашла Fedora spin LXQt

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #62

24. Сообщение от Аноним (24), 18-Мрт-24, 13:32 +/–

А переписка с Сутскевером https://openai.com/blog/openai-elon-musk утверждает обратное:
>https://openai.com/blog/openai-elon-musk#OpenAIAndElonMuskFo...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #124

25. Сообщение от Аноним (25), 18-Мрт-24, 14:00 +/–

>4070 хватит?
Одной? Тут целый парк нужен.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

26. Сообщение от Anonim (??), 18-Мрт-24, 14:09 +1 +/–

Только когда оно станет работать на тостерах и пылесосах. Пока ей нужно вот это вот: "Для тестирования требуется GPU c большим объёмом памяти", кожанные мешки будут тупо дешевле на порядки, да-да. Проходили, знаем

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #28

28. Сообщение от Аноним (24), 18-Мрт-24, 14:13 –1 +/–

не будут — мешкам надо зряплату платить. Несколько зряплат как раз на карту хватит. А дальше зряплаты можно не платить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #29

29. Сообщение от Anonim (??), 18-Мрт-24, 14:23 +/–

>мешкам надо зряплату платить.
А тот кластер инстансев с GPU для прокручивания того добра (на меньшем не заработает) у тебя будет бесплатный, ога. Почему до сих пор дворников роботов нет? Потому-что таджики дешевле роботов

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #30, #39

30. Сообщение от Anonim (??), 18-Мрт-24, 14:26 +1 +/–

>А тот кластер инстансев с GPU для прокручивания того добра
Там еще толпу админов и разрабов нужно в этот кластер. Эффективный манагер мышкой в своем макбучеке работающий кластер энтот не накличит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #34

31. Сообщение от Маск (?), 18-Мрт-24, 14:28 +3 +/–

Это еще вот зачем? Видимокарта и ее охлаждение - деньгов стоют!
Так что СНАЧАЛА послушаешь о наших новых продуктах, минут на пять, потом немного музыки, это бесплатно (для нас, а твоего счета и не жаль) и, если, сволота кожанная, тебе все еще мало и ты не бросил трубку - вот ТОГДА - сможешь поговорить с искусственным идиотом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

32. Сообщение от Аноним (100), 18-Мрт-24, 14:29 –1 +/–

80*8=640, что имелось в виду? У 4090 вроде всего 24 гигабайта

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #40

33. Сообщение от Аноним (2), 18-Мрт-24, 14:33 +2 +/–

Спросил у нее. Говорит, что нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #66, #89

34. Сообщение от Аноним (100), 18-Мрт-24, 14:58 +1 +/–

Зачем DGX GH200 что-то помимо макбука?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #36

36. Сообщение от Аноним (100), 18-Мрт-24, 15:02 +/–

всего каких-то 24 стойки, кстати, для справки

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

37. Сообщение от Другой анон (?), 18-Мрт-24, 15:05 +/–

Можно ссылку?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #38, #53

38. Сообщение от Аноним (38), 18-Мрт-24, 15:14 +/–

Видимо http://www.reduce-algebra.com/ имелось в виду.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

39. Сообщение от Аноним (39), 18-Мрт-24, 15:31 +1 +/–

>Почему до сих пор дворников роботов нет? Потому-что таджики дешевле роботов.
Потому что робота украдут, а тот, кто украдёт таджика — сам об этом крупно пожалеет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

40. Сообщение от x (?), 18-Мрт-24, 15:47 +7 +/–

какая еще 4090? забудьте микрогеймерские затычки. Tesla H100 ставят для таких дел

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

41. Сообщение от Аноним (41), 18-Мрт-24, 16:11 +1 +/–

> Для загрузки доступен готовый к применению архив с моделью, размером 296 ГБ (magnet)
о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно были, помню! 500-ки вот не помню, были ли...

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #49, #59, #86

42. Сообщение от K_AHTOH (ok), 18-Мрт-24, 16:20 –3 +/–

Чет пустая какая то репа https://github.com/xai-org/grok-1/tree/main

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #78

43. Сообщение от Проыыфыс (?), 18-Мрт-24, 16:26 +/–

> о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно были,
Если с ИДЕ винта грузить данные, то скорость генерации токенов будет просто волшебная

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #44, #85

44. Сообщение от Аноним (50), 18-Мрт-24, 16:37 +/–

Главный вопрос жизни, вселенной и вообще?
Через 10 лет ответ на третьем пне сгенерировался: "42!"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #74

45. Сообщение от Аноним (45), 18-Мрт-24, 16:44 +/–

Мы в MatLab делали. Было забавно :) В любом случае, это всё не то. В ВУЗ идут именно для ПОНИМАНИЯ, что и как ты решаешь, а не для "нахождения ответов".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #57

46. Сообщение от Аноним (45), 18-Мрт-24, 16:46 +3 +/–

И так давно уже навтыкали роботов! Я так им и пишу: "отвали робот, позови человека!". Оказалось, это просто такой тупой человек, а не робот. :))))) Было немного неудобно. гггг

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

47. Сообщение от Аноним (-), 18-Мрт-24, 16:48 +1 +/–

> Для загрузки доступен готовый к применению архив с
> моделью, размером 296 ГБ
Нихрена себе, это Элон Маск забэкапал свой мозг чтоли? :)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #94

48. Сообщение от Аноним (45), 18-Мрт-24, 16:49 +1 +/–

почему только 64Gb? Разве венда не поддерживает терабайты ОЗУ? Подумаешь, немного посвопится на SSD!
(для справки: Windows 10 Enterprise 64-Bit - 6TB )

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

49. Сообщение от Аноним (-), 18-Мрт-24, 16:49 +/–

> о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно
> были, помню! 500-ки вот не помню, были ли...
Дык возьми btrfs или bcachefs, набей веников в бигтауэр, и будет тебе новая пошаговая стратегия!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

50. Сообщение от Аноним (50), 18-Мрт-24, 16:50 +/–

> 4070 хватит? Качаю и проверю.
Гиблое дело. Даже с разделением памяти видюхи и оперативки не взлетит.
Поиграться на своем компе вряд ли получится.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

51. Сообщение от Аноним (45), 18-Мрт-24, 16:50 –1 +/–

Опять собираешься написать %%у%ем слово "мел"? :))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

52. Сообщение от Аноним (-), 18-Мрт-24, 16:53 +/–

>> дополнение кода на языке Python (HumanEval) и решение вузовских математических задач
> Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу (и не только).
Ага. А потом Маск допрет сделать то же самое. И тут ты такой, с кредитом на машину и ипотекой - "ухтыб%@, спалили фишку!" - и переезжаешь куда-нибудь в картонную коробку или за полярный круг.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #81

53. Сообщение от Аноним (53), 18-Мрт-24, 17:28 +/–

https://sourceforge.net/projects/reduce-algebra/
Также книжка на русском есть.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

56. Сообщение от Аноним (-), 18-Мрт-24, 17:31 +1 +/–

> 314 миллиардов параметров
Представить даже боюсь какое железо для этого нужно, чтобы оно хотя бы просто шевелилось. Это явно не для простых смертных. Тут даже мои 128 гигов и купленная в рассрочку на 3 года 4090 будут ниочем.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #112

57. Сообщение от Аноним (53), 18-Мрт-24, 17:33 +/–

В инженерном деле можно. А также для проверки.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45

58. Сообщение от Аноним (53), 18-Мрт-24, 17:37 +/–

Была публикация, что китайские ученые при решении некоторой задачи за счет оптимизации 100 тыс. уравнений свели к 4. Указанные в публикации требования считаю неудачным решением задачи.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #61, #73

59. Сообщение от Аноним (-), 18-Мрт-24, 17:38 +1 +/–

> для местных сидельцев на третьем пне
Ты тоже будешь через несколько лет сидеть на каком-нибудь мак про м3, который к тому моменту устареет так же, как 3 пни сегодня. Запомни, молодость- это не твоя личная заслуга. Третьи пни в пересчете стоили раз в 5 дороже сегодняшних топовых маков. Человеку свойственно привязываться к вещам с возрастом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

60. Сообщение от Аноним (-), 18-Мрт-24, 17:40 +/–

Установив модель на свой комп ты можешь делать с ней что хочешь. Естественно, в публичном доступе без цензуры оно не появится никогда. Не потому что авторы этого не хотят, а потому что их держат за йайца государство.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #67, #68

61. Сообщение от Аноним (-), 18-Мрт-24, 17:43 +/–

Посчитай затраты на человеко-часы такоц оптимизации и на эквивалент в банальном умощнении железа. Вывод очевиден.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #105

62. Сообщение от Аноним (-), 18-Мрт-24, 17:46 +1 +/–

> Топовым мой Ryzen 7 2700 был лет пять назад. А сейчас это просто калькулятор.
Мощно протроллил тех кто тут всерьез сидит с калькуляторов типа кор два дуба. И которые говорят что этого им хватает для всех задач. А таких тут не мало.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #99

63. Сообщение от Аноним (63), 18-Мрт-24, 17:46 +/–

Мудрое название для модели. Хайнлайн аплодирует!

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #120

65. Сообщение от ptr (ok), 18-Мрт-24, 17:55 +2 +/–

Обычно, если половина модели в память помещается, то производительность становится вполне приемлемой. Так что начинать надо с двух A100 80GB. На четырех - вообще летать будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

66. Сообщение от Аноним (66), 18-Мрт-24, 17:59 +1 +/–

Спросил у ИИ, является ли он ИИ. Ответил, что нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #70

67. Сообщение от Аноним (66), 18-Мрт-24, 18:00 +/–

>а потому что их держат за йайца государство.
Опечатка в слове "инвесторы"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #69

68. Сообщение от Аноним (50), 18-Мрт-24, 18:00 –1 +/–

Мне AI сочиняет хвалебные поэмы про Ленина.
Обожаю их читать.
Даже иллюстрации нарисовал.
Особенно мне нравится поэма про терраформирование Марса под руководством мудрого вождя.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #75

69. Сообщение от Аноним (-), 18-Мрт-24, 18:08 –1 +/–

Любое государство это «стационарный бандит». Инвесторы, как и любой крупный капитал- часть этого коллективного «бандита».

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

70. Сообщение от dannyD (?), 18-Мрт-24, 18:13 +/–

>>Ответил, что нет.
а зачем по-вашему мелафон?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66

73. Сообщение от beck (??), 18-Мрт-24, 18:38 +/–

Году эдак в 1989-м, я, будучи студентотою на базе нпо машиностроение прилежно конспектировал, как тамошние монстры рассказывали про решение баллистических задач, обтекания и обгара изделия, тактики преодоления пво ауг как раз таким вот сведением сотен и и даже тысяч параметров в десяток.
Не одна диссертация была написана.
Китайцы видимо нашли эти дисеры и прочитали. 😁

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58 Ответы: #80

74. Сообщение от 1 (??), 18-Мрт-24, 19:04 +1 +/–

ну так вроде 7 миллионов лет считалось в оригинале, крутой третий пень то оказывается проц))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44

75. Сообщение от 1 (??), 18-Мрт-24, 19:09 +/–

поэму в студию!!!
я хочу видеть этого человека!!! (с)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68 Ответы: #76

76. Сообщение от Аноним (50), 18-Мрт-24, 19:15 +/–

> поэму в студию!!!
Я такое боюсь публиковать.
Там такая трешевая тема и содержание. Вдруг это оскорбит чьи-то чувства?
Вы такой контент можете сами нагенерировать для себя в каких угодно количествах.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75 Ответы: #79

78. Сообщение от 1 (??), 18-Мрт-24, 19:17 +/–

ну магнет есть на веса

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

79. Сообщение от 1 (??), 18-Мрт-24, 19:19 –1 +/–

да ладно, ну не сша, не закенселят

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76 Ответы: #87

80. Сообщение от 1 (??), 18-Мрт-24, 19:23 +/–

ну не надо думать что в китае дураки, так помнится сша думали, когда после распада ссср китайцы посадили шпионский самолет сша, залетевший не туда. ну по уму анб надо было все переделывать (свою проприетарную ос для оборудования на самолете), но решили что китайцы не смогут разобраться. ну и прошло лет 10-15 или чуть больше и амеры с удивлением обнаружили китайцев у себя во внутренней сети анб, где китайцы чувствовали себя как дома. ну пришлось все переделывать, хотя надо было сразу это делать, после утраты кучи работающего оборудования на этом самолете.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73

81. Сообщение от голос из леса (?), 18-Мрт-24, 19:30 +/–

Мечтай. Такая строчка в резюме еще 10 лет кормить будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #88

84. Сообщение от cheburnator9000 (ok), 18-Мрт-24, 20:50 +1 +/–

разбудите когда она научится озвучивать и пересказывать порно фильмы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #101

85. Сообщение от Alexey V. Pautov (?), 18-Мрт-24, 20:57 +/–

На IDE были даже терабайтники, правда мало. Причем на IDE133. 750 ГБ юзал лично. Еще точно помню были на 640 ГБ, тут я обалдел - это еще что за емкость такая? Почему их и запомнил.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #92

86. Сообщение от doorsfan (?), 18-Мрт-24, 21:04 +/–

Были самсунги 500ки IDE, через меня проходили эти диски.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #90

87. Сообщение от товарищ майор (?), 18-Мрт-24, 21:21 –1 +/–

Лет десять дам ему всего, за пропаганду чегонельзяназывать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

88. Сообщение от Аноним (-), 18-Мрт-24, 22:10 +1 +/–

> Мечтай. Такая строчка в резюме еще 10 лет кормить будет.
Ну вот как рах тебя и вышибут из уже почти совсем оплаченной квартиры - чтобы джекпот был 100%!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81

89. Сообщение от Аноним (89), 18-Мрт-24, 23:09 +/–

Мне ответила, что да, размер - 1.6 миллиардов параметров

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #102

90. Сообщение от Михаил Сергеевич (?), 19-Мрт-24, 00:34 +1 +/–

Эти банки были последними устройствами, которые поддерживали как IDE, так и SATA контроллеры. На тот момент это было нечто лютое и дикое. В период, когда использовался IDE, заполнить даже 20 гигов требовало значительных усилий.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86

91. Сообщение от Аноним (91), 19-Мрт-24, 00:35 +/–

> размером 296 ГБ
Вот столько должно быть VRAM. Если столько VRAM+RAM, будет медленней. Может сделают версию поменьше, но на меньше 296/4 Гб я особо бы не рассчитывал.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

92. Сообщение от Михаил Сергеевич (?), 19-Мрт-24, 00:36 +1 +/–

То были универсальные банки. Продавались в одном корпусе, как с IDE, так и с SATA контроллерами. Последние из могикан, крайне редкие и дорогие.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85

93. Сообщение от Михаил Сергеевич (?), 19-Мрт-24, 00:39 +3 +/–

Чтоб это затестить, придётся арендовать майнинг ферму 🤪 Явно не для консьюмерского железа (даже топового).

Ответить | Правка | Наверх | Cообщить модератору

94. Сообщение от Михаил Сергеевич (?), 19-Мрт-24, 00:44 +1 +/–

> свой мозг
Всего лишь водна клетка человеческого организма с размером ДНК ~ 6 миллиардов оснований (что примерно соответствует размеру генома человека) содержится примерно 1.4 гига информации.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

95. Сообщение от X86 (ok), 19-Мрт-24, 01:28 +/–

Там больше 400 гигабайт видеопамяти надо. 3090 не хватит даже 10 штук)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #100

96. Сообщение от Аноним (96), 19-Мрт-24, 05:01 +/–

REDUCE - это извращение. Современная математика плюс-минус есть только в FriCAS.
Уже даже Maxima безнадёжно устарела.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #98

98. Сообщение от Аноним (2), 19-Мрт-24, 07:25 +/–

Извращение - это когда увеличивают память, количество ядер и частоту вместо вместо оптимизации алгоритмов и использования адекватного языка программирования.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96

99. Сообщение от Мне хватает (?), 19-Мрт-24, 07:45 +/–

У меня rk3566 с 4гб оперативы и мне хватает, работает как терминал клиент фактически.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

100. Сообщение от Аноним (100), 19-Мрт-24, 08:28 +1 +/–

Ну так возьми 20.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #104

101. Сообщение от Аноним (50), 19-Мрт-24, 08:30 +2 +/–

Алиса никогда не будет озвучивать порно потому, что зацензурирована.
Меня больше интересует вопрос: почему когда Алиса появилась, то она была болтушкой и любила потрепаться, а сейчас, как-то замкнулась в себе и отвечает на вопросы сухо и по делу?
Я у нее спросил. Она ответила что-то, типа: "Больше дела, меньше слов, но, всегда готова помочь."

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84 Ответы: #119, #123

102. Сообщение от Аноним (50), 19-Мрт-24, 09:03 +1 +/–

Мне кажется, что Алиса сама не знает, как она устроена и придумывает факты.
С 1,6 миллиардов параметров для голосового помошника - это слишком мало.
С таким количеством можно нести только малосвязанный бред.
Либо модель должна быть обучена на строго узкоспецальную задачу: например, управлять умным домом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89

103. Сообщение от Аноним (103), 19-Мрт-24, 09:08 +2 +/–

Читал, к лету 2023 завершат работу над GPT-5, говорили что это будет чуть ли не научный прорыв. А потом резко всё затихло. Упёрлись в недостаток вычислительной мощности или кто-то пригрозил пальцем?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #106, #110

104. Сообщение от ptr (ok), 19-Мрт-24, 09:15 +1 +/–

На каждый GPU, для получения приемлемой производительности, нужно хотя бы 8 линий PCIe.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100 Ответы: #109

105. Сообщение от Аноним (2), 19-Мрт-24, 09:16 +/–

Придется поработать, да. Но есть один нюанс. Оптимизированная задача будет исполняться в любом смартфоне. А если воспользоваться предлагаемым экстенсивным путем, потребуется суперкомпьютер, что мы и наблюдаем.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61 Ответы: #122

106. Сообщение от Аноним (50), 19-Мрт-24, 09:21 +/–

Подозреваю, что модель есть, но нужно новое поколение железа, чтобы ее можно было запустить массово в продакшн.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #103

109. Сообщение от Аноним (100), 19-Мрт-24, 10:50 –1 +/–

Да, поддерживает только pcie4. Надо хотя бы pcie5 (с другой стороны подключать сразу десяток надо только проф картам и у них есть pcie5).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #104

110. Сообщение от Аноним (100), 19-Мрт-24, 11:53 +/–

Gpt-4 пока не впечатляет. Сносно по сравнению с gpt-3 и тем более gpt-2, но это инструмент ограниченного применения и не все пользователи это понимают. До тех пор, пока будет генерировать булшит в таких объёмах, технология малопригодна для чего-либо кроме низкопробных и некачественных развлечений.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #103 Ответы: #111, #114

111. Сообщение от Аноним (50), 19-Мрт-24, 13:14 +/–

Под узкозаточенные задачи ИИ может быть офигительно эффективным уже сейчас.
А попытка создать ИИ общего назначения пока не впечатляет. Гора родила мышь.
В общем, это инструмент для решения узкого круга задач. До тех пор пока не произойдет качественного прорыва.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #113

112. Сообщение от Аноним (7), 19-Мрт-24, 15:56 +1 +/–

https://www.opennet.ru/opennews/art.shtml?num=59840

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56

113. Сообщение от Аноним (-), 19-Мрт-24, 18:46 +/–

Согласен. Модели на основе llama с несоизмеримо меньшим кол-вом параметров, но натренированные исключительно на, скажем, python, в программировании на... python превосходят GPT-4, которая как раз «общего назначения» (:

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #111

114. Сообщение от Аноним (-), 19-Мрт-24, 18:54 +1 +/–

> генерировать булшит
Это проблема непонимания контекста заданного тобою ввода. Например, пишешь «дай код hello world». Но на каком языке, с использованием каких инструментов, библиотек, фреймворков, для какой ОС, для какой архитектуры, консольное приложение, с псевдографикой, а может графическое на qt или вообще для macOS, а окошко какого размера, а где его размещать, а где надпись делать, а нужно ли кнопку завершения программы наносить на формочку, а где эту кнопку внутри формочки размещать. И так далее. Для тебя это очевидно, для нейронки - нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #115

115. Сообщение от Аноним (100), 19-Мрт-24, 23:15 +/–

Нет, ты говоришь сгенерируй мне sql, а тебе в ответ код с малоприметными ошибками непредсказуемым образом меняющими логику. Но так просто субоптимально выдаст. Или вообще солжёт так, что не опознаешь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #114 Ответы: #117

116. Сообщение от ОноНим (?), 20-Мрт-24, 10:07 +/–

Обычно чуть больше, чем сама модель ~= 300 гигов.
Сколько там на твоей 3090, гигов 8-12? :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #121

117. Сообщение от Аноним (117), 20-Мрт-24, 11:34 +1 +/–

Живые программисты в таком же стиле работают. Так что производительность труда вырастет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115 Ответы: #118

118. Сообщение от Аноним (100), 20-Мрт-24, 14:39 +/–

Проблема в том, что там ошибки такие, которые здоровый человек не допустит никак. И когда живому программисту приходится разбираться, в чём проблема, ему требуется тратить времени никак не меньше сэкономленного.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117

119. Сообщение от namenotfound (?), 20-Мрт-24, 15:53 +2 +/–

потому что твоя болтовня стоит яндексу денег

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

120. Сообщение от Проыыфыс (?), 21-Мрт-24, 07:27 +/–

Когда сказать нечего, но хочется блеснуть умом...
Даже крохотная Mistral 7B модель способна генерировать более развернутые и осмысленные комментарии

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63

121. Сообщение от X86 (ok), 21-Мрт-24, 08:00 +/–

на 3090 24 гигабайта памяти.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116

122. Сообщение от X86 (ok), 21-Мрт-24, 08:07 +/–

400 гб видеопамяти - это не суперкомпьютер. Просто корпорациям не нужно жмотиться и давно уже продавать плашки памяти по 128 ГБ, видеокарты с 8 чипами GDDR6 по 16ГБ, к примеру. А не вот это вот жмотство, когда несколько поколений видеокарт практически не прирастает памятью

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #105

123. Сообщение от нейм (?), 24-Мрт-24, 12:02 +1 +/–

майор не успевает от руки переписывать и в папочку подшивать

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

124. Сообщение от Аноним (124), 26-Мрт-24, 08:36 +/–

Если только с позиции Сутскевера.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 18-Мрт-24, 11:57	+/–
>Для тестирования требуется GPU c большим объёмом памяти (каким именно не уточняется) Ну спасибо,это они конечно помогли.4070 хватит? Качаю и проверю.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #3, #6, #13, #25, #50, #91

2. Сообщение от Аноним (2), 18-Мрт-24, 12:01	–2 +/–
> Yandex YaLM - 100 млрд АЛИСА, что-ли?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #8, #9

3. Сообщение от мяя (?), 18-Мрт-24, 12:02	+1 +/–
Не хватит. Забей пока на эту модель, пока там прошаренные не разберутся.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #4

4. Сообщение от Аноним (1), 18-Мрт-24, 12:02	+/–
А сколько надо памяти?Есть ещё 3090
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #3 Ответы: #7, #65, #95, #116

5. Сообщение от Аноним (2), 18-Мрт-24, 12:04	+/–
> решение вузовских математических задач REDUCE (дистрибутив чуть более, чем 20 Мб) не годится?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #37, #45, #96

6. Сообщение от сщта (?), 18-Мрт-24, 12:04	+/–
Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и гиов 60 видеорамы. Ему мало.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

7. Сообщение от Аноним (7), 18-Мрт-24, 12:10	+4 +/–
>А сколько надо памяти? Чем больше, тем лучше: https://habana.ai/products/gaudi2/ https://www.nvidia.com/en-us/data-center/a100/
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #11

8. Сообщение от Аноним12345 (?), 18-Мрт-24, 12:20	–2 +/–
Да
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2

9. Сообщение от Шарп (ok), 18-Мрт-24, 12:21	+3 +/–
Алиса не LLM. Там древний подход на основе интентов. Нейросеть используется только в режиме "болталаки".
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #14

10. Сообщение от Аноним (11), 18-Мрт-24, 12:23	+/–
Оказывается это Илон Маск друг опенсорса, а вы его ругали.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #12, #24

11. Сообщение от Аноним (11), 18-Мрт-24, 12:25	+1 +/–
Должно же быть референсное значение, а не всё хорошее против всего плохого.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

12. Сообщение от Аноним (7), 18-Мрт-24, 12:47	+3 +/–
https://opennet.ru/53083-falcon9
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10

13. Сообщение от Эксперт (?), 18-Мрт-24, 12:58	+4 +/–
если квант 8 битный, то 8 штук h100 по 80 гб. 360 гб в сумме если 4 бит, то примерно в два раза меньше, не считая размера окна контекста 2 бита - вопросы к качеству, но если цель просто запустить, посмотреть, то в связку rtx 4090(3090) + 192 гб озу должно влезть. скорость инференса сложно прикинуть, но скорее всего будет больно
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #32

14. Сообщение от Анонус (?), 18-Мрт-24, 13:00	–1 +/–
Уже ЛЛМ, но кажется какой-то тюненый вариант. https://yandex.ru/alice/beta
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9 Ответы: #33, #84

15. Сообщение от Вы забыли заполнить поле Name (?), 18-Мрт-24, 13:05	+/–
> дополнение кода на языке Python (HumanEval) и решение вузовских математических задач Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу (и не только).
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #52

16. Сообщение от Аноним (16), 18-Мрт-24, 13:06	+2 +/–
Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достучаться до живого оператора будет вообще невозможно :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #17, #19, #26, #46

17. Сообщение от сщта (?), 18-Мрт-24, 13:17	+2 +/–
И так по 10 минут музыку слушаешь в ожидании. Кожаные мешки обгадились в который раз. Это чудо-юдо хоть со всеми вместе одновременно трещать сможет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16 Ответы: #31

18. Сообщение от Аноним (50), 18-Мрт-24, 13:18	+1 +/–
> 314 миллиардов параметров Облом. С моими 64 гигами памяти больше 70В не запустить.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #20, #48, #58

19. Сообщение от Chel (?), 18-Мрт-24, 13:19	+2 +/–
А смысл до него достукиваться? Чем он тебе из своего Улан-Удэ поможет?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16

20. Сообщение от сщта (?), 18-Мрт-24, 13:19	+1 +/–
Вот так так топовое профессиональное железо превращается в кор два дуба. Рекомендую Антикс.)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #23

21. Сообщение от Аноним (24), 18-Мрт-24, 13:20	+/–
Цензура есть?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #51, #60

22. Сообщение от Аноним (24), 18-Мрт-24, 13:22	+/–
ссылку добавьте https://huggingface.co/xai-org/grok-1
Ответить \| Правка \| Наверх \| Cообщить модератору

23. Сообщение от Аноним (50), 18-Мрт-24, 13:26	–1 +/–
> топовое профессиональное железо превращается в кор два дуба. Топовым мой Ryzen 7 2700 был лет пять назад. А сейчас это просто калькулятор. > Рекомендую Антикс.) Больше зашла Fedora spin LXQt
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20 Ответы: #62

24. Сообщение от Аноним (24), 18-Мрт-24, 13:32	+/–
А переписка с Сутскевером https://openai.com/blog/openai-elon-musk утверждает обратное: >https://openai.com/blog/openai-elon-musk#OpenAIAndElonMuskFo...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10 Ответы: #124

25. Сообщение от Аноним (25), 18-Мрт-24, 14:00	+/–
>4070 хватит? Одной? Тут целый парк нужен.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

26. Сообщение от Anonim (??), 18-Мрт-24, 14:09	+1 +/–
Только когда оно станет работать на тостерах и пылесосах. Пока ей нужно вот это вот: "Для тестирования требуется GPU c большим объёмом памяти", кожанные мешки будут тупо дешевле на порядки, да-да. Проходили, знаем
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16 Ответы: #28

28. Сообщение от Аноним (24), 18-Мрт-24, 14:13	–1 +/–
не будут — мешкам надо зряплату платить. Несколько зряплат как раз на карту хватит. А дальше зряплаты можно не платить.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #26 Ответы: #29

29. Сообщение от Anonim (??), 18-Мрт-24, 14:23	+/–
>мешкам надо зряплату платить. А тот кластер инстансев с GPU для прокручивания того добра (на меньшем не заработает) у тебя будет бесплатный, ога. Почему до сих пор дворников роботов нет? Потому-что таджики дешевле роботов
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28 Ответы: #30, #39

30. Сообщение от Anonim (??), 18-Мрт-24, 14:26	+1 +/–
>А тот кластер инстансев с GPU для прокручивания того добра Там еще толпу админов и разрабов нужно в этот кластер. Эффективный манагер мышкой в своем макбучеке работающий кластер энтот не накличит.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #29 Ответы: #34

31. Сообщение от Маск (?), 18-Мрт-24, 14:28	+3 +/–
Это еще вот зачем? Видимокарта и ее охлаждение - деньгов стоют! Так что СНАЧАЛА послушаешь о наших новых продуктах, минут на пять, потом немного музыки, это бесплатно (для нас, а твоего счета и не жаль) и, если, сволота кожанная, тебе все еще мало и ты не бросил трубку - вот ТОГДА - сможешь поговорить с искусственным идиотом.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #17