VK представляет новаторскую систему Tarantool Column Store для обработки данных в реальном времени

VK запустила Tarantool Column Store, инновационную систему для мгновенной обработки и анализа данных в реальном времени.
21 февраля 2024, среда 18:55
Mirakl для раздела Блоги

Компания VK объявила о старте нового проекта под названием Tarantool Column Store, который станет значительным шагом в области технологий обработки данных. Этот инструмент, представляющий собой колоночную базу данных, разработан для анализа потоковой информации в режиме реального времени, обеспечивая беспрецедентную скорость и эффективность в работе с большими объемами данных.

Особенностью Tarantool Column Store является ее способность к HTAP-обработке, что позволяет осуществлять аналитику непосредственно на актуальных данных, избегая дополнительных временных и ресурсных затрат на их перемещение. Эта технология поддерживает не только колоночное, но и строчное хранение данных, предоставляя пользователю гибкие возможности для управления информацией.

Применение векторизованного многопоточного движка для выполнения SQL-запросов гарантирует высокую производительность и скорость обработки данных. Tarantool Column Store интегрируется с различными бизнес-приложениями через широкий спектр интерфейсов, включая JDBC, ODBC, ADBC и HTTP, что делает ее универсальным инструментом для разнообразных задач.

Система предлагает масштабируемые решения благодаря функциям кластеризации, репликации и шардирования. Встроенные механизмы сжатия данных позволяют оптимизировать их хранение в оперативной памяти, а возможность использования внешних систем хранения данных обеспечивает эффективное архивирование.

Совместимость Tarantool Column Store с отечественными операционными системами, такими как Astra Linux, РЕД ОС и «Альт», расширяет ее применимость на российском рынке. Применение этого решения может быть особенно актуально в финансовой сфере и производстве, где требуется быстрый анализ данных для принятия оперативных решений, улучшение работы антифрод-систем и ускорение сервисов выдачи кредитов.