Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Количество представленных ИИ-моделей в 2023 году увеличилось более чем вдвое по сравнению с 2022 годом. Из 149 недавно представленных моделей 65,7% имели открытый исходный код, что является значительным увеличением по сравнению с 44,4% в 2022 году и с 33,3% в 2021 году. Это следует из нового исследования сферы искусственного интеллекта, опубликованного Стэнфордским университетом.
Для сравнения, в 2017 году обучение на оригинальной модели Transformer, представившей архитектуру, на которой базируется практически каждая современная LLM, стоило около $900. RoBERTa Large 2019 года, получивший высшие баллы во многих тестах на понимание, таких как SQuAD и GLUE, потратила около $160 000 на обучение. В 2023 году затраты на обучение OpenAI GPT-4 и Google Gemini Ultra составили около $78 млн и $191 млн соответственно.
США являются мировым лидером в разработке лучших моделей искусственного интеллекта, опережая Китай, ЕС и Великобританию. В 2023 году стартапами США была разработана 61 известная модель ИИ, что намного больше, чем в Европейском Союзе (21) и в Китае (15 моделей). Однако, когда дело доходит до патентов на ИИ, Китай значительно опережает США.
Исследования в области ИИ-инструментов с открытым исходным кодом процветают. С 2011 года количество проектов ИИ на GitHub неуклонно росло: с 845 в 2011 году до примерно 1,8 миллиона в 2023 году. Только в прошлом году количество проектов ИИ на GitHub резко возросло на 59,3%.
Закрытые LLM работают значительно лучше, чем открытые (большие языковые модели с открытым исходным кодом). По 10 тестам искусственного интеллекта закрытые модели превзошли открытые модели со средним преимуществом в производительности на 24,2%. Различия в производительности между закрытыми и открытыми моделями имеют важные последствия для дебатов об искусственном интеллекте.
Следует отметить, что спонсорами отчета выступили Google и OpenAI, поставщики двух ведущих моделей искусственного интеллекта.