Компания LG AI Research сделала значительный шаг вперед в области искусственного интеллекта, представив EXAONE 3.0 — первую модель ИИ с открытым исходным кодом в Южной Корее.
Модель EXAONE 3.0 основана на архитектуре Decoder-only Transformer и включает в себя 7,8 миллиарда параметров, а также 8 триллионов токенов обучающих данных. Это делает ее одной из самых мощных языковых моделей на рынке. Разработчики акцентируют внимание на том, что данная модель предназначена для различных приложений, включая обработку естественного языка и решение математических задач.
Модель поддерживает только английский и корейский языки, что, по мнению разработчиков, ограничивает ее применение на международной арене, но в то же время открывает новые возможности для локальных исследований. Тесты, проведенные LG, показали, что уровень владения английским языком в модели достигает "мирового высшего уровня". В частности, EXAONE 3.0 продемонстрировала выдающиеся результаты в реальных сценариях использования, обойдя такие модели, как Llama 3.0. Кроме того, по математическим вычислениям и программированию модель также заняла первое место, что подтверждает ее высокую производительность и способности к рассуждению.
Еще одним важным достижением является значительное сокращение времени вывода на 56%, а также уменьшение использования памяти на 35% и эксплуатационных расходов на 72% по сравнению с предыдущей версией модели. Это делает EXAONE 3.0 более эффективной и экономичной для использования в различных приложениях.
Обучение модели проводилось на 60 миллионах профессиональных данных, охватывающих области патентов, программирования, математики и химии. LG планирует расширить объем обучающих данных до 100 миллионов случаев к концу года, что позволит улучшить качество работы модели и ее адаптивность к новым задачам.
Для снижения энергопотребления при работе модели специалисты LG AI Research сосредоточились на оптимизации технологий и облегчении модели: размер модели сократился на целых 97%, что значительно повысило ее производительность по сравнению с предыдущими версиями, такими как EXAONE 1.0.