Apple, известная своими инновациями, решила объединить усилия с NVIDIA для создания технологии под названием ReDrafter. Эта разработка направлена на улучшение производительности генерации текста с помощью больших языковых моделей (LLM). Ранее Apple предпочитала использовать собственные решения, отказываясь от графических процессоров NVIDIA для облачных вычислений. Однако недавние изменения в стратегии компании показывают, что она готова к партнерству, если это приведет к более эффективным результатам.

ReDrafter сочетает в себе два метода — лучевой поиск и tree attention. Эти технологии направлены на оптимизацию процесса генерации текста, что особенно важно в условиях растущих требований к скорости и эффективности. В блоге Apple сообщается, что после собственных исследований компания интегрировала ReDrafter в TensorRT-LLM, что позволяет LLM работать быстрее на графических процессорах NVIDIA. Это решение также снижает потребление энергии, что становится важным фактором в современных реалиях.

На практике, тестирование технологии показало, что ReDrafter может увеличить скорость генерации токенов на 2,7 раза при использовании фреймворка TensorRT-LLM. Это означает, что пользователи смогут получать результаты быстрее, что критически важно для многих приложений, использующих ИИ.

Несмотря на положительные результаты, некоторые эксперты выражают сомнения относительно долгосрочного сотрудничества между Apple и NVIDIA. История отношений между технологическими гигантами иногда оставляет желать лучшего, и неясно, как будет развиваться это партнерство в будущем. Тем не менее, успех ReDrafter может стать значительным шагом вперед в области генеративного ИИ и его применения в реальных задачах.