Исследователи из Apple и Университета штата Огайо разработали новую гибридную языковую модель. Как сообщает 9 to 5 Mac, она может генерировать тексты до 128 раз быстрее других существующих моделей. Исследовательская группа видит в этом подходе большой потенциал для экономии ресурсов.
Так называемые диффузионные модели используют другой подход. До сих пор они использовались в основном для генерации изображений. Эти модели также не создают весь контент сразу, но могут генерировать несколько токенов параллельно и улучшать их в течение множества небольших итераций, пока результат не станет осмысленным и грамматически правильным. Хотя этот подход обычно даёт высококачественные результаты, он также требует больших вычислительных затрат, поскольку в зависимости от запроса могут потребоваться сотни или даже тысячи шагов.
Модели Flow Matching — это дальнейшее развитие ИИ. Они направлены на сокращение длительного итерационного процесса диффузионных моделей. Вместо того, чтобы работать шаг за шагом над готовым текстом, модели Flow Matching обучаются генерировать желаемый текст за один проход.
В своей статье исследователи из Apple и Университета штата Огайо описывают новую модель, называемую Few-Step Discrete Flow-Matching (FS-DFM). Этот подход сочетает в себе точность диффузионных моделей с эффективностью метода Flow Matching. Особенность FS-DFM заключается в том, что для генерации текстовых фрагментов, качественно сопоставимых с моделями, требующими более тысячи шагов, требуется всего восемь этапов уточнения. Это может значительно ускорить генерацию сложных текстов.
По сравнению с известными моделями, FS-DFM смогла создавать более точные и качественные тексты даже при значительно меньшем количестве параметров. По сравнению с другими распространёнными моделями, новая модель оказалась примерно в 128 раз быстрее.