Mail.Ru Cloud Big Data

Продукт
Название базовой системы (платформы): VK Workspace (ранее Облачная платформа Mail.ru для бизнеса)
Разработчики: VK (ранее Mail.ru Group), Mail.Ru Cloud Solutions (MCS)
Дата премьеры системы: 2018/07/10
Дата последнего релиза: 2021/07/21
Технологии: BI,  Big Data,  Data Mining,  MDM - Master Data Management - Управление основными мастер-данными,  PaaS - Platform As A Service - Бизнес-платформа как сервис

Содержание

Основные статьи:

Mail.Ru Cloud Big Data — сервис в рамках Mail.Ru Cloud Solutions на базе Apache Hadoop и Apache Spark, позволяющий вынести обработку данных в облако. Благодаря этому анализ больших данных производится быстро, а компания экономит на создании и обслуживании инфраструктуры, утверждают в Mail.ru Group.

2021: Запуск Hadoop 3.0 как сервиса на базе решения Arenadata

Mail.ru Cloud Solutions 21 июля 2021 года сообщила о запуске Hadoop 3.0 как сервис на базе решения Arenadata.

Сервис открывает возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.Эволюция в развитии российских средств защиты от сетевых угроз: как Kaspersky NGFW меняет расстановку сил на рынке

Hadoop — это открытое решение для хранения и анализа больших данных. На его базе платформа Mail.ru Cloud Solutions предоставляет готовые сборки, которые позволят быстро создавать корпоративные хранилища данных (DWH) и Data Lake объемом до нескольких Пбайт, а также проводить извлечение, преобразование и загрузку данных (ETL), поступающих из разных источников.

В сочетание с набором технологий для работы с большими данными Data Science и Data Engineer-специалисты получат готовое решение для извлечения и анализа данных любого типа, которые станут основой для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер несет финансовые гарантии за доступность сервиса, занимается его администрированием и обновлением на последние версии.

Arenadata Hadoop станет одним из компонентов экосистемы облачных сервисов Mail.ru Cloud Solutions для работы с большими данными, ориентированной на потребности крупного бизнеса. Enterprise-версия решения обладает большей функциональностью на уровне политик доступа, а также высокой доступностью: обеспечивает автоматическое восстановление кластера после падения, а также его автомасштабирование при росте объема данных. Дополнительным плюсом сервиса на платформе MCS является поддержка российского разработчика — компании Arenadata.

Платформа использует приближенную к открытой версию Hadoop, что исключает зависимость пользователей от вендора. Arenadata Hadoop выполнена на базе Hadoop 3.0, что позволяет повысить эффективность хранения данных на 50%, обеспечить улучшенную работу с памятью для высоконагруженных приложений и масштабирование до ста тысяч узлов. Arenadata Hadoop зарегистрирован в государственном реестре отечественного ПО.

«
Arenadata Hadoop Enterprise отличается серьезными настройками безопасности и функциональностью для высоких нагрузок, а также возможностью автомасштабирования. Компаниям теперь не надо думать, стоит ли подключать больше дисков для хранения и обработки информации: кластер автоматически расширится в случае необходимости, — говорит Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.
»

В рамках решения Arenadata Hadoop на платформе MCS каждый кластер тарифицируется только по количеству дискового пространства, количество ядер не влияет на стоимость решения. Пользователь платит по модели Pay-As-You-Go, которая подразумевает оплату по мере потребления ресурсов. Специалисты Mail.ru Cloud Solutions и Arenadata проконсультируют по миграции и сложным архитектурным решениям. Кроме того, новые пользователи платформы могут получить бесплатный доступ к Arenadata Hadoop на три месяца, оставив заявку на странице решения Mail.ru Cloud Big Data.

«
Появление облачного сервиса, который имеет в своей основе последнюю версию Hadoop, это хорошая новость для рынка. Такое решение может сильно упростить жизнь командам разработки и компаниям, специализирующимся на анализе больших данных и машинном обучении. Мы планируем протестировать сервис, чтобы оценить перспективы его использования для наших проектов, — сказал Рустам Кильдиев, технический директор компании «Иннодата», российского разработчика решений в области управления большими данными и клиентским опытом.
»

В июле 2021 года Mail.ru Cloud Solutions объявила о расширении сотрудничества с российским разработчиком платформы сбора и хранения данных Arenadata и открыла доступ к распределенной аналитической СУБД с открытым кодом Arenadata DB Cloud версии Enterprise, которая также доступна для бесплатного теста на три месяца. Решение позволяет создать корпоративное хранилище информации с почти неограниченными возможностями масштабирования.

2020: Интеграция с OnCloud.ru

21 декабря 2020 года стало известно о том, что компания «Онланта» и платформа Mail.ru Cloud Solutions заключили соглашение о стратегическом партнерстве в сфере мультиоблачных сервисов. Сотрудничество компаний позволит заказчикам управлять сложными инфраструктурными проектами, используя ресурсы провайдеров через единую «точку входа» с обеспечением сквозной информационной безопасности и SLA. Пользователям облачного сервиса OnCloud.ru теперь доступны дополнительные мощности и компоненты платформы Mail Cloud Solutions: Managed Kubernetes, Database as a Service, IoT-платформа, Big Data Platform. Подробнее здесь.

2018: Запуск

10 июля 2018 года компания Mail.ru Group в рамках инфраструктуры Mail.Ru Cloud Solutions представила масштабируемый PaaS-сервис для компаний, которые собирают и анализируют большие данные — Mail.Ru Cloud Big Data.

Как известно, анализ больших данных позволяет решать широкий спектр задач: от кредитного скоринга, разбора операционной деятельности компании и распределения транспортной нагрузки до поиска ископаемых, проведения исследований в области медицины, социологии, астрономии. Однако чтобы эффективно обрабатывать большие объемы информации, требуются огромные вычислительные мощности: множество дорогих серверов, которые будут обслуживать специально нанятые профессионалы. Не каждому бизнесу нужна собственная инфраструктура для работы с big data.

Сервис Mail.Ru Cloud Big Data — это альтернатива дорогостоящей локальной инфраструктуре для обработки больших данных. Вместо того, чтобы приобретать оборудование, которое будет задействовано несколько часов в неделю и потребует постоянных трат на обслуживание, компания может воспользоваться облачной инфраструктурой в аренду, подчеркнули в Mail.ru Group.

Применение платформ с открытым исходным кодом Apache Hadoop и Apache Spark позволяет быстро и точно обрабатывать огромные объемы данных из разнородных источников. Так, Hadoop оптимален для индексации веб-сайтов, научных исследований (data lake). В свою очередь, Spark — для потоковой обработки и анализа данных в реальном времени: сегментации посетителей сайтов, обнаружения мошенничества, мониторинга транспорта.

При необходимости вычислительные ресурсы масштабируются от пары серверов до сотен и обратно за несколько минут. При этом компания платит только за те ресурсы, которые потребляет: в Mail.Ru Cloud Big Data действует посекундная тарификация.

В то же время, предусмотрена приватная сеть с компонентами Hadoop и другими сервисами в клиентской ИТ-системе для создания гибридного облака, а также миграция приложений для Hadoop из облака Amazon и Azure без изменения кода.

По словам разработчиков, предложения Mail.Ru Cloud Big Data рассчитаны на предоставление облачной платформы, где любые компании могут создавать собственную инфраструктуру и решать ресурсоемкие задачи по анализу данных в корпоративных приложениях, индексации сайтов, финансовому анализу, научным исследованиям и вычислениям, а также машинному обучению.



ПРОЕКТЫ (1) ИНТЕГРАТОРЫ (1) СМ. ТАКЖЕ (7)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Прогноз (250)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
  RBC Group Украина (124)
  БизнесАвтоматика НПЦ (119)
  Консультационная группа АТК (100)
  Другие (2525)

  Сапиенс солюшнс (Sapiens solutions) (9)
  Форсайт (8)
  Navicon (Навикон) (7)
  Корус Консалтинг (6)
  Доверенная среда (5)
  Другие (101)

  БизнесАвтоматика НПЦ (12)
  Форсайт (8)
  ФТО (5)
  Manzana Group (М Софт) (4)
  Optimacros (Оптимакрос) (3)
  Другие (74)

  Manzana Group (М Софт) (5)
  БизнесАвтоматика НПЦ (5)
  OptiTeam Consulting, Оптитим Консалтинг (ранее MCB Consulting, ЭмСиБи Консалтинг) (4)
  Форсайт (4)
  Инфомаксимум (Infomaximum) (4)
  Другие (67)

  Simetra (ранее А+С Транспроект) (11)
  БизнесАвтоматика НПЦ (7)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (5)
  Инфомаксимум (Infomaximum) (4)
  Arenadata (Аренадата Софтвер) (4)
  Другие (50)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (19, 332)
  SAP SE (70, 303)
  Oracle (65, 267)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
  Другие (1115, 1644)

  SAP SE (6, 13)
  Форсайт (2, 8)
  Qlik (QlikTech) (2, 8)
  Microsoft (2, 6)
  Триафлай (1, 5)
  Другие (50, 78)

  БизнесАвтоматика НПЦ (1, 12)
  Форсайт (3, 8)
  Optimacros (Оптимакрос) (1, 6)
  Microsoft (1, 5)
  Manzana Group (М Софт) (3, 4)
  Другие (40, 50)

  Optimacros (Оптимакрос) (1, 10)
  Форсайт (2, 8)
  Analytic Workspace (ОСТ) (2, 5)
  Manzana Group (М Софт) (2, 5)
  PIX Robotics (Пикс Роботикс) (1, 5)
  Другие (38, 59)

  Simetra (ранее А+С Транспроект) (1, 11)
  VMware (2, 7)
  БизнесАвтоматика НПЦ (1, 7)
  SL Soft (СЛ Софт) (5, 6)
  Полиматика (Polymatica) (5, 6)
  Другие (29, 55)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  QlikView - 370
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 318
  Deductor - 226
  Visary BI Платформа бизнес-аналитики - 119
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103
  Другие 2004

  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7
  Qlik Sense - 6
  Microsoft Power BI - 5
  Триафлай BI-платформа - 5
  Другие 85

  Visary BI Платформа бизнес-аналитики - 12
  Optimacros Платформа для оптимизационного и консолидационного планирования - 6
  Microsoft Power BI - 5
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 5
  Qlik Sense - 4
  Другие 51

  Optimacros Платформа для оптимизационного и консолидационного планирования - 10
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7
  Visary BI Платформа бизнес-аналитики - 5
  Manzana Customer Data Platform (CDP) - 5
  PIX BI - 5
  Другие 53

  RITM3 - Real time integration transport measurements modelling managemet - 11
  Visary BI Платформа бизнес-аналитики - 7
  Инфомаксимум: Proceset (Система класса Process mining) - 6
  Optimacros Платформа для оптимизационного и консолидационного планирования - 6
  ADB - Arenadata DB - 6
  Другие 39

Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
  БизнесАвтоматика НПЦ (120)
  Инфосистемы Джет (13)
  Сбербанк (10)
  Полиматика (Polymatica) (9)
  Другие (636)

  Ростелеком (3)
  БизнесАвтоматика НПЦ (3)
  IPavlov (Айпавлов) (2)
  NLogic (2)
  Сапиенс солюшнс (Sapiens solutions) (2)
  Другие (48)

  БизнесАвтоматика НПЦ (12)
  OneFactor (Уанфактор) ЕдиныйФактор (3)
  Мегапьютер Интелидженс (Megaputer Intelligence) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении (2)
  Другие (57)

  БизнесАвтоматика НПЦ (5)
  Полиматика (Polymatica) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Сбер Бизнес Софт (2)
  Группа компаний ЦРТ (Центр речевых технологий) (2)
  Другие (63)

  БизнесАвтоматика НПЦ (8)
  SL Soft (СЛ Софт) (3)
  Сбер Бизнес Софт (3)
  Университет Иннополис (2)
  Мобильные ТелеСистемы (МТС) (2)
  Другие (66)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (2, 236)
  БизнесАвтоматика НПЦ (2, 119)
  Полиматика (Polymatica) (4, 15)
  SL Soft (СЛ Софт) (3, 15)
  Oracle (12, 14)
  Другие (314, 180)

  БизнесАвтоматика НПЦ (1, 3)
  Полиматика (Polymatica) (1, 2)
  SL Soft (СЛ Софт) (1, 2)
  Dell EMC (1, 2)
  IBM (1, 1)
  Другие (6, 6)

  БизнесАвтоматика НПЦ (1, 12)
  Сбербанк (2, 2)
  К-Скай (K-SkAI) (1, 2)
  Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (1, 2)
  Другие (14, 16)

  БизнесАвтоматика НПЦ (1, 5)
  Сбербанк (3, 3)
  Ситроникс КТ (ранее Кронштадт Технологии) (2, 2)
  Группа компаний ЦРТ (Центр речевых технологий) (1, 2)
  Полиматика (Polymatica) (1, 2)
  Другие (16, 19)

  БизнесАвтоматика НПЦ (1, 7)
  SL Soft (СЛ Софт) (3, 4)
  Полиматика (Polymatica) (3, 4)
  Rubbles (Раблз) (1, 2)
  Нетрика Медицина (1, 1)
  Другие (15, 15)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Deductor - 226
  Visary BI Платформа бизнес-аналитики - 119
  Polymatica Analytics Аналитическая платформа - 13
  Loginom Аналитическая платформа - 10
  IBM SPSS Decision Management - 10
  Другие 165

  Visary BI Платформа бизнес-аналитики - 3
  Polymatica Analytics Аналитическая платформа - 2
  EMC Greenplum Data Computing Appliance - 2
  Minit Система класса Process Mining - 1
  Informatica Axon Data Governance - 1
  Другие 5

  Visary BI Платформа бизнес-аналитики - 12
  PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2
  Loginom Аналитическая платформа - 2
  Platforma и HFLabs: Технология безопасного метчинга данных - 2
  Webiomed - Платформа предиктивной аналитики и управления рисками в здравоохранении на основе машинного обучения - 2
  Другие 11

  Visary BI Платформа бизнес-аналитики - 5
  PIX Process Management (PIX Процессы) - 2
  ЦРТ: Speech Analytics Lab - 2
  CM.Expert Data Mining платформа - 2
  Polymatica Analytics Аналитическая платформа - 2
  Другие 15

  Visary BI Платформа бизнес-аналитики - 7
  Rubbles Customer Insight - 2
  Polymatica Analytics Аналитическая платформа - 2
  СберМедИИ: ТОП-3 - цифровой помощник врача - 1
  МТС DataOps Platform - 1
  Другие 9