Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Недавно зарубежные СМИ подняли вопросы о темпе и эффективности разработки следующей модели искусственного интеллекта OpenAI, известной как GPT-5. Ожидания от этой модели очень высоки, но несколько ключевых аспектов указывают на то, что процесс её разработки оказался более сложным и ресурсоëмким, чем предполагалось.
OpenAI провела как минимум два крупных обучающих запуска для улучшения моделей путём обучения на больших объëмах данных. Однако первый тренировочный прогон оказался медленнее, чем ожидалось, что указывает на то, что более крупные прогоны будут трудоëмкими и дорогостоящими. Хотя GPT-5, по сообщениям, работает лучше, чем его предшественник GPT-4, этого улучшения оказалось недостаточно, чтобы оправдать затраты на поддержание работы модели.
Разработка моделей такого масштаба, как GPT-5, требует значительных вычислительных ресурсов и огромных объëмов данных. OpenAI не ограничивается только открытыми данными и лицензионными соглашениями. Компания также нанимает специалистов для создания новых данных путём написания нового кода или решения математических задач. Кроме того, OpenAI использует синтетические данные, созданные другой своей моделью. Эти усилия демонстрируют масштабы и сложность задачи, стоящей перед разработчиками.
Генеральный директор OpenAI, Сэм Альтман, ранее признал, что по мере роста сложности моделей ИИ, управление множеством проектов одновременно становится всё более сложным, особенно в части распределения вычислительных ресурсов. Альтман также отметил, что текущая итерация GPT-4, несмотря на её успех, является лишь "отстойной" по сравнению с тем, что обещает предложить GPT-5. Это говорит о высоких ожиданиях и одновременно о признании существующих ограничений.
Несмотря на спекуляции о возможном выпуске GPT-5 в конце 2024 или начале 2025 года, OpenAI пока не подтвердила конкретные сроки. Некоторые источники предполагают, что промежуточное обновление, такое как GPT-4.5, может быть выпущено раньше, чтобы сохранить лидерство в области ИИ. Однако основной фокус остаётся на том, чтобы обеспечить значительный скачок в параметрах и спецификациях машинного обучения, который будет оправдан инвестициями.