Как известно, практически все интернет-сервисы Google размещены на платформе под названием Colossus. Компания решила поделиться данными касательно огромной сетевой инфраструктуры, описываемой создателями как универсальной платформы хранения.

Пожалуй, одним из основных секретов Colossus является то, что данные в нем хранятся на жестких дисках. Это позволяет добиться сочетания высокой масштабируемости и надежности, а также простоты в программировании.

На Colossus крутятся популярные сервисы Google, такие, как YouTube, Gmail и Drive. Сам проект вырос из другого проекта Google File System, созданного для управления тяжелыми приложениями, которые интенсивно используют огромные массивы данных. Google удалось модернизировать систему, применив эффективное кэширование на SSD.

Google используется по одной системе Colossus на кластер в ЦОД. Данные кластеры в состоянии манипулировать более, чем 10 эксабайтами данных. По утверждению компании, приложения или службы никогда не должны достигать исчерпания дискового пространства.

Типичная скорость передачи данных в кластере составляет 50 ТБ/ с при чтении и 25 ТБ/с при записи. Этого достаточно, чтобы одновременно транслировать 100 фильмов с разрешением 8K.

Для оптимизации ресурсов и производительности в Colossus применяется система на базе ИИ, которая может записывать данные сначала на SSD для большей скорости, а затем плавно перемещает их на HDD, чтобы минимизировать стоимость хранения.