ClickHouse - система управления базами данных (СУБД)

Продукт
Разработчики: ClickHouse, Яндекс (Yandex)
Дата последнего релиза: 2020/09/28
Технологии: СУБД

Содержание

Основная статья: Система управления базами данных (СУБД)

ClickHouse — разработанная «Яндексом» система управления базами данных (СУБД), позволяющая хранить и быстро обрабатывать большие объемы информации для создания аналитических отчетов. Технология создавалась для сервиса веб-аналитики «Яндекс.Метрика», однако она применяется и в других проектах «Яндекса», а также для бизнес-аналитики и в мониторинге инфраструктуры. ClickHouse может использоваться в телекоммуникациях, рекламе, интернет-торговле и информационной безопасности.

2021

Создание компании ClickHouse, в которую инвестировали $50 млн

20 сентября 2021 года «Яндекс» сообщил о создании новой компании ClickHouse, в рамках которой будут развиваться продукты на основе одноименной открытой СУБД. В этот проект вложено $50 млн, помимо «Яндекса», в него инвестировали венчурные фонды Benchmark Capital и Index Ventures. Подробнее здесь.

Использование для ПАК "Прана"

8 февраля 2021 года компания РОТЕК сообщила о том, что программно-аппаратный комплекс ПРАНА переходит на российскую аналитическую систему управления базами данных Яндекс ClickHouse. Подробнее здесь.

2020: Yandex ClickHouse 20.8 с доработками от Arenadata

Очередная версия колоночной аналитической СУБД с открытым кодом ClickHouse 20.8 от Яндекс вышла с доработками Arenadata — функционалом Kerberos авторизации для Kafka. Об этом компания Arenadata сообщила 28 сентября 2020 года.

Arenadata — активный участник OpenSource-сообщества. Компания вносит вклад в развитие множества систем, включая Yandex ClickHouse, на базе которой работает колоночная СУБД Enterprise-уровня Arenadata QuickMarts (ADQM). TAdviser выпустил новую Карту «Цифровизация ритейла»: 280 разработчиков и поставщиков услуг 13.9 т

Теперь пользователь сможет легко настроить авторизацию в ADQMM — конфигурационный файл ClickHouse управляет библиотекой librdkafka, обеспечивающей взаимодействие с Kafka. Также заработали параметры, связанные с Kerberos.

«
Перед нами стояла довольно амбициозная задача, — рассказывает продакт-менеджер Arenadata QuickMarts Андрей Коняев. — Основная сложность была связана с тем, что в ClickHouse изначально заложено минимальное количество внешних зависимостей. Стандартный для продукта способ использования библиотек — полная интеграция. Еще одна особенность продукта — внимание к тестированию. Потребовалось много усилий на создание окружения из docker контейнеров с Kafka, ZooKeeper и Kerberos KDC для тестов появившегося функционала.
»

Arenadata планирует продолжать доработки. В ближайших планах — Kerberos авторизация доступа к HDFS.

СУБД Arenadata QuickMarts (ADQM) отличается от базового ClickHouse по ряду параметров. Особенности системы — простота установки и настройки из оркестратора Arenadata Cluster Manager, нативная интеграция с Arenadata DB (Greenplum), Hadoop, Streaming в рамках единой платформы Arenadata EDP, авторизация пользователей, в том числе поддержка интеграции с Kerberos Hadoop, а также мониторинг на базе Graphite и Grafana.

Компания осуществляет дополнительное тестирование и контроль качества релизов. Есть возможность оперативной доработки и развития функционала под требования заказчика. Еще одна особенность — наличие оперативной русскоязычной технической поддержки.

2019: Включение в Реестр отечественного ПО

21 июня 2019 года компания "Яндекс" сообщила о том, что в реестр отечественного программного обеспечения вошли Яндекс.Трекер — сервис для организации работы команды — и система управления базами данных ClickHouse. Теперь эти продукты будут иметь приоритет при выборе софта для госкомпаний. Подробнее здесь.

ClickHouse будет интересен организациям, которые имеют дело с данными. Эта система может обрабатывать огромные объёмы информации в реальном времени и строить аналитические отчёты в разных срезах. Сфера её применения: аналитика сайтов и приложений, реклама, телекоммуникации, обработка данных мониторинга и телеметрии, информационная безопасность — и это не полный список. Система легко масштабируется и позволяет хранить записи о триллионах событий.

2017: «Галактика» адаптировала веб-аналитику Yandex для промышленных задач

Корпорация «Галактика», российский разработчик корпоративных информационных систем, оптимизировала работу с «Яндекс.Метрика» для своих клиентов. Специалисты нашли различные возможности использования технологии веб-аналитики ClickHouse (Yandex) для анализа экономической деятельности предприятий. Технология сможет применяться как в системах планирования ресурсов предприятия класса ERP (Enterprise Resource Planning), так и в системах бизнес-анализа и поддержки принятия решений класса BI (Business Intelligence).

ClickHouse – это система управления базами данных, которая изначально разрабатывалась для веб-аналитики «Яндекс.Метрика». ClickHouse позволяет обрабатывать огромные объемы данных (свыше двух терабайт в секунду), сохраняя отказоустойчивость, и делает это гораздо быстрее других решений, присутствующих на мировом рынке. Чтобы выиграть для пользователей своих бизнес-приложений время, корпорация «Галактика» оптимизировала технологию Yandex. Для ее оценки специалисты использовали 13 миллионов собственных бухгалтерских проводок и рассчитали средствами ClickHouse оборот по счетам и поток денежных средств. Результат оказался убедительным. Если в традиционной учетной системе аналогичные задачи решаются за минуты, то в макете с использованием ClickHouse – за секунды.

Решение позволяет бизнес-пользователю работать с отчетами в интерактивном режиме. Например, быстро переключаться с просмотра остатков средств на начало месяца – к анализу оборота в разрезе счетов-субсчетов и т.д. За короткий сеанс работы пользователь может просчитать несколько вариантов управленческого решения и выбрать среди них оптимальный.

Заинтересованные пользователи ERP и BI решений могут поработать с данными в тестовом макете «Галактики» и убедиться, насколько быстро справляется ClickHouse с типичными бизнес-задачами.

2016: Раскрытие исходного кода

В середине июня 2016 года стало известно о планах «Яндекса» раскрыть исходный код ClickHouse. Об этом газете «Коммерсантъ» рассказали в самой интернет-компании.

По словам руководителя группы разработки ClickHouse Алексея Миловидова, публикация исходного кода — «один из самых значимых вкладов в Open Source в истории компании».

«Яндекс» раскрывает исходный код СУБД ClickHouse

Раскрывая исходный код ClickHouse вместо того, чтобы сделать продукт коммерческим, «Яндекс» проводит «большой эксперимент», считает руководитель российского представительства ESET Денис Матеев.

«
Если у него будут позитивные результаты, то «Яндекс» улучшит жизнь специалистам по электронной торговле, аналитикам, медиа и разработчикам софта, — отметил Матеев.
»

По его мнению, у ClickHouse есть потенциал применения в Security Operation Center — центрах мониторинга, куда стекается информация о событиях, имеющих отношение к информационной безопасности.

Консультант по безопасности Cisco Алексей Лукацкий полагает, что в случае готовности «Яндекса» делиться своей аналитикой и помощи во внедрении и настройке системы своим заказчикам, компания сможет стать «очень серьезным игроком» на рынке средств мониторинга информационной безопасности.[1]

Примечания



ПРОЕКТЫ (5) ПРОЕКТЫ НА БАЗЕ (3) ИНТЕГРАТОРЫ (5)
РЕШЕНИЕ НА БАЗЕ (3) СМ. ТАКЖЕ (41)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP CIS (САП СНГ) (38)
  Softline (Софтлайн) (35)
  РДТЕХ (33)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (28)
  ФОРС - Центр разработки (25)
  Другие (741)

  Сапиенс солюшнс (Sapiens solutions) (7)
  BeringPro (БерингПойнт) ранее BearingPoint Russia (3)
  Navicon (Навикон) (3)
  Softline (Софтлайн) (2)
  Wone IT (Ван Ай Ти Трейд, ранее SoftwareONE Россия, СофтвэрУАН и Awara IT Russia, Авара Ай Ти Солюшенс) (2)
  Другие (35)

  Группа Борлас (Borlas) (1)
  Диасофт (Diasoft) (1)
  КРИТ (KRIT) (1)
  Корус Консалтинг (1)
  Arenadata (Аренадата Софтвер) (1)
  Другие (20)

  Arenadata (Аренадата Софтвер) (5)
  Тантор Лабс (Tantor Labs) (3)
  ФОРС - Центр разработки (2)
  Инфорион (1)
  Ит1-Холдинг (IT-One) (1)
  Другие (18)

  Arenadata (Аренадата Софтвер) (5)
  Диасофт (Diasoft) (2)
  Сбербанк-Технологии (СберТех) (2)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Гринатом (Greenatom) (1)
  Другие (18)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 178)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 129)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 41)
  Другие (265, 252)

  SAP SE (3, 11)
  Microsoft (3, 11)
  PostgreSQL Global Development Group (3, 10)
  Oracle (2, 4)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 3)
  Другие (10, 13)

  PostgreSQL Global Development Group (4, 9)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (2, 3)
  Arenadata (Аренадата Софтвер) (3, 2)
  Oracle (2, 2)
  Другие (9, 9)

  PostgreSQL Global Development Group (3, 13)
  Постгрес профессиональный (ППГ, Postgres Professional) (1, 6)
  Arenadata (Аренадата Софтвер) (3, 5)
  Apache Software Foundation (ASF) (3, 4)
  Тантор Лабс (Tantor Labs) (2, 3)
  Другие (8, 10)

  PostgreSQL Global Development Group (4, 12)
  Arenadata (Аренадата Софтвер) (3, 7)
  VMware (2, 7)
  Постгрес профессиональный (ППГ, Postgres Professional) (2, 6)
  Диасофт (Diasoft) (1, 3)
  Другие (7, 8)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle Database - 106
  Microsoft SQL Server - 104
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103
  PostgreSQL СУБД - 81
  SAP HANA (High Performance Analytic Appliance) - 72
  Другие 382

  Microsoft SQL Server - 9
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
  PostgreSQL СУБД - 7
  SAP HANA (High Performance Analytic Appliance) - 3
  Oracle Database - 3
  Другие 21

  Postgres Pro СУБД - 5
  ADB - Arenadata DB - 2
  PostgreSQL СУБД - 2
  Tarantool Платформа in‑memory вычислений - 2
  Oracle Database - 2
  Другие 13

  Postgres Pro СУБД - 6
  PostgreSQL СУБД - 4
  Tantor СУБД - 3
  ADB - Arenadata DB - 3
  Apache Kafka - 2
  Другие 10

  ADB - Arenadata DB - 6
  PostgreSQL СУБД - 5
  Postgres Pro СУБД - 4
  Diasoft Digital Q.Database - 3
  СберТех: Platform V Pangolin - 2
  Другие 10