Насколько ценным для вычислительной техники является графический процессор? Пареш Харья, старший директор по управлению продуктами и маркетингу Nvidia, считает, что чипы компании уже обеспечивают "миллионный скачок" в развитии отрасли. Компания предложила свой анализ "общей картины" в рамках рекламы, построенной вокруг конференции GTC, в которой подчеркивается, как графические процессоры Nvidia могут поддерживать приложения искусственного интеллекта.
Nvidia GPU
Коэффициент в один миллион - это значительно больше, чем более устаревший закон Мура, который утверждает, что количество транзисторов в чипах будет удваиваться каждые два года. Многие отмечают, что темпы двукратного роста, связанные с предсказанием Мура, в последнее время замедлились, что объясняется рядом причин, таких как растущие затраты на строительство заводов. Увеличение темпов роста также было менее очевидным для пользователей, поскольку дополнительные транзисторы не так уж полезны для базовых задач, таких как обработка текстов.
Графические процессоры Nvidia стали в 1 000 раз мощнее
Пареш Харья основывает свое утверждение о многомиллионном множителе на совокупности востребованных новых приложений и архитектуры чипов, способной их обеспечить. Многие из новых приложений, разрабатываемых сегодня, зависят от алгоритмов искусственного интеллекта, и эти алгоритмы предоставляют идеальные возможности для огромного количества транзисторов на графических процессорах Nvidia. Работа по обучению и оценке моделей искусственного интеллекта часто является параллельной по своей сути.
Ускорению процесса способствует отказ от владения оборудованием в пользу его аренды в центрах обработки данных. Если раньше мы были ограничены мощностью компьютера, стоящего у нас на столе, то теперь каждый может запустить 1000 и более машин в центре обработки данных, чтобы решить масштабную задачу за несколько секунд..
В качестве примера Харья привел тот факт, что в 2015 году одному графическому процессору Kepler от Nvidia потребовался почти месяц, чтобы обработать популярную модель компьютерного зрения под названием ResNet-50. "Сегодня мы обучаем эту же модель менее чем за полминуты на Selene, самом мощном в мире промышленном суперкомпьютере, который оснащен тысячами графических процессоров Nvidia архитектуры Ampere", - пояснил Хария в своем блоге.
Институт информатики UF, Университет Флориды. Nvidia построила суперкомпьютер Selene для исследования коронавируса всего за три недели (Silicon Angle)
"Многократный прирост скорости в этом примере произошел благодаря более совершенным, быстрым и мощным графическим процессорам". По оценкам Харьи, за последние 10 лет вычислительная мощность графических процессоров Nvidia выросла в 1000 раз. Другие факторы связаны с обеспечением эффективной совместной работы всех графических процессоров в центрах обработки данных. Харья приводит лишь несколько примеров: "это наше программное обеспечение Megatron, Magnum IO для многопроцессорной и многоузловой обработки, а также SHARP для внутрисетевых вычислений".
Все остальное было получено благодаря расширению возможностей облачных вычислений. Amazon Web Services уже много лет является партнером Nvidia, и она предлагает разработчикам все больше возможностей по аренде GPU для машинного обучения и других задач.
Может ли динамика роста GPU соответствовать количеству транзисторов?
Харья также предложил еще один пример, взятый из мира биофизики, где ученые смоделировали действие 305 миллионов атомов, составляющих вирус атипичной пневмонии CoV-2 (коронавирус). Выяснилось, что новейшая версия симуляции работает в 10 миллионов раз быстрее, чем исходная, созданная 15 лет назад. Такому результату способствовало усовершенствование работы алгоритма, а также более производительные чипы.
Подобного же масштабного роста добиваются и другие компании. Google, например, разрабатывает специальные чипы, оптимизированные под машинное обучение. Эти процессоры TPU, названные в честь алгоритма TensorFlow, доступны на облачной платформе Google с 2019 года.
При всей шумихе, вызванной повышением коэффициента в миллион раз, единственная оговорка заключается в том, что мы не увидим такого же экспоненциального роста, как в случае с количеством транзисторов. Несмотря на то, что исходная мощность базовых графических процессоров будет увеличиваться в соответствии с законом Муром, прирост, получаемый при переезде в центр обработки данных, произойдет только один раз. Увеличение количества машин для ускорения процесса всегда будет иметь линейную зависимость.
