Недавно приобрёл себе портативный ноутбук ASUS ROG Flow X13 GV302XV. По акции цена составила 159 тысяч рублей. Хороший обзор на него есть тут.
Ноутбук поставляется в очень красивой коробке.
Так как в нём установлена видеокарта 4060 с 8 ГБ видеопамяти, я решил проверить на ней работу больших языковых моделей (далее - БЯМ).
Весной 2023 года я уже пробовал одну из таких моделей (Dalai LLAMA Alpaca.30B), но тогда мне показалось, что её интеллект еще не очень хорош. В частности, она общалась только на английском языке. А попросив придумать сказку для ребенка про единорогов, я получил, на мой взгляд, не очень интересный и логичный текст:
Тогда генерация этой сказки заняла 5 минут на следующей конфигурации ПК:
Сейчас, спустя полтора года, ситуация на мой взгляд сильно поменялась в лучшую сторону.
В этот раз я решил попробовать программу LM Studio версии 0.3.2.
Вот обзоры этой программы:
Прощай chatGPT | Как пользоваться LM Studio | Установка Llama, falcon, mistral! - YouTube
Установка программы заняла менее 5 минут. Еще несколько минут заняло скачивание языковых моделей.
Пока я скачал две модели: Meta Llama 3.1 8B и Codestral-22B-v0.1-GGUF
В этот раз я так же решил проверить работу БЯМ на примере сказки.
Сказка получилась достаточно опасной. Поэтому прошу переделать её в более безопасную.
Но БЯМ меня видимо не поняла. Пришлось прервать её работу досрочно и задать новый уточняющий запрос.
Всё равно сказка получалось достаточно опасной. Дети должны получать разрешение от родителей и родители должны знать, что происходит в жизни детей.
Дети всё равно не должны путешествовать одни, а родители должны быть в курсе всех больших секретов максимально оперативно. Добавил еще безопасности.
В этот раз, несмотря на некоторые опечатки, сказка меня устроила.
Поэтому со сказкой я остановился и попросил написать статью, как мы придумывали эту сказку.
Ну и в конце я попросил Codestral-22B придумать название и описание к статье.
P.S. Дочке сказка понравилась и она попросила придумать продолжение сказки.