На выдающемся мероприятии по искусственному интеллекту, AI Journey, команда разработчиков Сбербанка анонсировала новый этап в развитии своих технологий. На сей раз речь идет о перспективной языковой модели, которая воплотится в следующей версии GigaChat и поразит своими параметрами — целых 29 миллиардов, в сравнении с текущими 18 миллиардами. Подробности этого важного шага были расскрыты в ходе презентации, где были представлены результаты сравнения новой модели с LLaMA 2, а также дополнительные подробности и инсайты.
Интересные цифры подтверждают, что новая языковая модель превосходит текущую версию GigaChat на 23% по общему качеству и на 25% по достоверности ответов. Процесс обучения этой модели осуществляется с привлечением специально подготовленного датасета, который наполняется информацией из различных областей, под руководством сотен сотрудников Сбербанка. Компания стремится сделать свой продукт сопоставимым с ведущими зарубежными аналогами, и уже сейчас технология Сбербанка опережает некоторые из них. Например, в бенчмарке MMLU новая версия GigaChat превосходит LLaMA 2 на 34 миллиарда параметров.
Андрей Белевцев, старший вице-президент, главный технический офицер и руководитель блока "Технологии" в Сбербанке, поделился важными деталями: "Обучение моделей, лежащих в основе GigaChat, — это сложный и масштабный вычислительный проект, сравнимый с чем-то, чего мы ранее не предпринимали. Общее количество вычислительных операций почти в 6 раз превышает объем операций при обучении модели ruGPT-3 с 13 миллиардами параметров в 2021 году".
На данный момент дата релиза новой версии остается в тайне, что добавляет загадочности и интереса к предстоящему обновлению.