Название базовой системы (платформы): | Apache Hadoop |
Разработчики: | IBM |
Технологии: | BI, Big Data, Data Mining |
Содержание |
IBM выпустила в конце 2011 года программное обеспечение InfoSphere BigInsights и InfoSphere Streams, которое позволяет клиентам получать быстрое представление о потоках информации в зоне интересов их бизнеса.
BigInsights в приближении
BigInsights - платформа для анализа данных, позволяющая компаниям превращать сложные наборы данных масштаба Интернета в знания. В состав этой платформы входят легко устанавливаемый дистрибутив Apache Hadoop, а также набор связанных инструментов, необходимых для разработки приложений, переноса данных и управления кластером. Благодаря своей простоте и масштабируемости Hadoop, представляющий собой Open Source-реализацию инфраструктуры MapReduce, пользуется заслуженным признанием в различных отраслях промышленности и науки. Помимо Hadoop, в состав BigInsights входят следующие Open Source-технологии (все они, за исключением Jaql, являются проектами Apache Software Foundation):
- Pig - платформа, включающая в себя высокоуровневый язык описания программ, анализирующих большие наборы данных. В состав Pig входит компилятор, преобразующий приложения Pig в последовательности заданий MapReduce, исполняемых в среде Hadoop.
- Hive - решение для организации хранилищ данных, разработанное на основе среды Hadoop. В нем реализованы знакомые принципы реляционных баз данных - таблицы, столбцы, разделы. Также в его состав входит набор SQL-операторов (HiveQL) для работы в неструктурированной среде Hadoop. Запросы Hive компилируются в задания MapReduce, исполняемые в среде Hadoop.
- Jaql - язык запросов с SQL-подобным интерфейсом, разработанный IBM и предназначенный для JavaScript Object Notation (JSON). Jaql отлично поддерживает вложенность, является в высокой степени функционально-ориентированным и чрезвычайно гибким. Этот язык хорошо подходит для работы со слабо структурированными данными; также он служит интерфейсом хранилища столбцов HBase и используется для анализа текста.
- HBase - ориентированная на столбцы не-SQL среда хранения данных, предназначенная для поддержки больших таблиц с малой степенью наполненности в Hadoop.
- Flume - распределенная, надежная и доступная служба, предназначенная для эффективного перемещения больших объемов генерируемых данных. Flume хорошо подходит для получения журналов событий из нескольких систем и их перемещения в файловую систему Hadoop (Hadoop Distributed File System, HDFS) по мере их генерации.
- Lucene - библиотека поисковой системы, обеспечивающая высокую производительность и полноценный текстовый поиск.
- Avro - технология последовательного упорядочивания данных, использующая JSON для определения типов данных и протоколов. Упорядочивает данные в компактном двоичном формате.
- ZooKeeper - централизованная служба, предназначенная для поддержки конфигурационной информации и именования; обеспечивает распределенную синхронизацию и групповое обслуживание.
- Oozie - система планирования поточной обработки заданий, предназначенная для организации и управления выполнением заданий Apache Hadoop.
В дополнение к вышеперечисленным продуктам в дистрибутив BigInsights включены следующие технологии IBM:
- BigSheets - браузерный интерфейс в виде электронной таблицы, предназначенный для поиска и анализа данных и использующий всю мощь Hadoop; позволяет пользователям легко собирать и анализировать данные. Содержит встроенные программы просмотра данных, умеющие работать с несколькими распространенными форматами, включая JSON, CSV (значения, разделенные запятыми) и TSV (значения, разделенные знаками табуляции).
- Text analytics - предварительно собранная библиотека текстовых аннотаторов для распространенных бизнес- объектов. Содержит богатый язык и инструментарий для создания пользовательских аннотаторов местоположений.
- Adaptive MapReduce - решение, разработанное IBM Research и предназначенное для ускорения выполнения небольших заданий MapReduce путем изменения способа их обработки.
Платформа InfoSphere
InfoSphere - всесторонняя платформа по интеграции информации, включающая в себя средства хранения и анализа данных, средства интеграции информации, средства управления мастер-данными, средства управления жизненным циклом, а также средства защиты и обеспечения конфиденциальности данных. InfoSphere делает процесс разработки приложений более эффективным, позволяя организациям экономить время, снижать затраты на интеграцию и повышать качество информации.
Продукт BigInsights, являясь частью платформы IBM Big Data, содержит точки интеграции с другими ее компонентами, включая системы хранения и интеграции данных, механизмы управления и сторонние инструменты для анализа данных. BigInsights возможно интегрировать с платформой InfoSphere Streams.Эволюция в развитии российских средств защиты от сетевых угроз: как Kaspersky NGFW меняет расстановку сил на рынке
Новая парадигма вычислений
Потоковые вычисления - новая парадигма, потребность в которой вызвана новыми сценариями генерации данных - повсеместное использование мобильных устройств, службы по определению местоположения и широкая распространенность всевозможных датчиков. Все это породило острую потребность в масштабируемых вычислительных платформах и параллельных архитектурах, способных обрабатывать огромные объемы генерируемых потоковых данных.
Технологии BigInsights не подходят для обработки потоковых данных в реальном времени, поскольку ориентированы в основном на пакетную обработку статичных данных. При обработке статичных данных ответом на запрос " Выбрать всех пользователей, подключавшихся к сети " будет являться один результирующий набор значений. При обработке потоковых данных в реальном времени можно выполнять непрерывный запрос, например " Выбрать всех пользователей, подключавшихся к сети за последние 10 минут ". Этот запрос будет непрерывно обновлять результаты. В мире статичных данных пользователь будет искать пресловутую иголку в стоге сена, тогда как в мире потоковых данных он будет искать эту иголку по мере того, как ветер сдувает сено со стога.
На рисунке проиллюстрирована разница между вычислениями, выполняемыми над статичными данными, и вычислениями, выполняемыми над потоковыми данными.
При обработке статичных данных (левая часть рисунка) выполняются запросы к статичным данным. При обработке потоковых данных (правая часть рисунка) данные непрерывно проходят через статические запросы.
Платформа IBM InfoSphere Streams поддерживает обработку потоковых данных в реальном времени, обеспечивая периодическое обновление результатов непрерывных запросов. Нужные знания могут быть извлечены из потоков данных, которые еще находятся в движении.
Заказчик | Интегратор | Год | Проект |
---|---|---|---|
- Аэрофлот | Интегро Текнолоджиз (Integro Technologies) | 2017.11 | |
- Аэрофлот | Техносерв Консалтинг | 2016.09 | |
- МИЭМ НИУ ВШЭ Московский институт электроники и математики | ЕС-лизинг, IBM Россия (ИБМ Восточная Европа и Азия) | 2015.11 |
Подрядчики-лидеры по количеству проектов
Прогноз (250)
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
RBC Group Украина (124)
БизнесАвтоматика НПЦ (119)
Консультационная группа АТК (100)
Другие (2525)
Сапиенс солюшнс (Sapiens solutions) (9)
Форсайт (8)
Navicon (Навикон) (7)
Корус Консалтинг (6)
Доверенная среда (5)
Другие (101)
БизнесАвтоматика НПЦ (12)
Форсайт (8)
ФТО (5)
Manzana Group (М Софт) (4)
Optimacros (Оптимакрос) (3)
Другие (74)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Qlik (QlikTech) (59, 464)
Форсайт (19, 332)
SAP SE (70, 303)
Oracle (65, 267)
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
Другие (1115, 1644)
SAP SE (6, 13)
Форсайт (2, 8)
Qlik (QlikTech) (2, 8)
Microsoft (2, 6)
Триафлай (1, 5)
Другие (50, 78)
БизнесАвтоматика НПЦ (1, 12)
Форсайт (3, 8)
Optimacros (Оптимакрос) (1, 6)
Microsoft (1, 5)
Manzana Group (М Софт) (3, 4)
Другие (40, 50)
Optimacros (Оптимакрос) (1, 10)
Форсайт (2, 8)
Analytic Workspace (ОСТ) (2, 5)
Manzana Group (М Софт) (2, 5)
PIX Robotics (Пикс Роботикс) (1, 5)
Другие (38, 59)
Simetra (ранее А+С Транспроект) (1, 11)
VMware (2, 7)
БизнесАвтоматика НПЦ (1, 7)
SL Soft (СЛ Софт) (5, 6)
Полиматика (Polymatica) (5, 6)
Другие (29, 55)
Распределение систем по количеству проектов, не включая партнерские решения
QlikView - 370
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 318
Deductor - 226
Visary BI Платформа бизнес-аналитики - 119
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 103
Другие 2004
SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 8
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7
Qlik Sense - 6
Microsoft Power BI - 5
Триафлай BI-платформа - 5
Другие 85
Visary BI Платформа бизнес-аналитики - 12
Optimacros Платформа для оптимизационного и консолидационного планирования - 6
Microsoft Power BI - 5
Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 5
Qlik Sense - 4
Другие 51
Подрядчики-лидеры по количеству проектов
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (125)
БизнесАвтоматика НПЦ (120)
Инфосистемы Джет (13)
Сбербанк (10)
Полиматика (Polymatica) (9)
Другие (636)
Ростелеком (3)
БизнесАвтоматика НПЦ (3)
IPavlov (Айпавлов) (2)
NLogic (2)
Сапиенс солюшнс (Sapiens solutions) (2)
Другие (48)
БизнесАвтоматика НПЦ (12)
OneFactor (Уанфактор) ЕдиныйФактор (3)
Мегапьютер Интелидженс (Megaputer Intelligence) (2)
Яндекс (Yandex) (2)
Московский центр инновационных технологий в здравоохранении (2)
Другие (57)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (2, 236)
БизнесАвтоматика НПЦ (2, 119)
Полиматика (Polymatica) (4, 15)
SL Soft (СЛ Софт) (3, 15)
Oracle (12, 14)
Другие (314, 180)
БизнесАвтоматика НПЦ (1, 3)
Полиматика (Polymatica) (1, 2)
SL Soft (СЛ Софт) (1, 2)
Dell EMC (1, 2)
IBM (1, 1)
Другие (6, 6)
БизнесАвтоматика НПЦ (1, 12)
Сбербанк (2, 2)
К-Скай (K-SkAI) (1, 2)
Мегапьютер Интелидженс (Megaputer Intelligence) (1, 2)
Loginom Company (ранее BaseGroup Labs Аналитические технологии) (1, 2)
Другие (14, 16)
БизнесАвтоматика НПЦ (1, 5)
Сбербанк (3, 3)
Ситроникс КТ (ранее Кронштадт Технологии) (2, 2)
Группа компаний ЦРТ (Центр речевых технологий) (1, 2)
Полиматика (Polymatica) (1, 2)
Другие (16, 19)
БизнесАвтоматика НПЦ (1, 7)
SL Soft (СЛ Софт) (3, 4)
Полиматика (Polymatica) (3, 4)
Rubbles (Раблз) (1, 2)
Нетрика Медицина (1, 1)
Другие (15, 15)
Распределение систем по количеству проектов, не включая партнерские решения
Deductor - 226
Visary BI Платформа бизнес-аналитики - 119
Polymatica Analytics Аналитическая платформа - 13
Loginom Аналитическая платформа - 10
IBM SPSS Decision Management - 10
Другие 165
Visary BI Платформа бизнес-аналитики - 3
Polymatica Analytics Аналитическая платформа - 2
EMC Greenplum Data Computing Appliance - 2
Minit Система класса Process Mining - 1
Informatica Axon Data Governance - 1
Другие 5
Visary BI Платформа бизнес-аналитики - 12
PolyAnalyst Платформа визуальной разработки сценариев анализа данных и текстов - 2
Loginom Аналитическая платформа - 2
Platforma и HFLabs: Технология безопасного метчинга данных - 2
Webiomed - Платформа предиктивной аналитики и управления рисками в здравоохранении на основе машинного обучения - 2
Другие 11