Data discovery

Data discovery в мире

Data discovery рассматривается Gartner как альтернативный подход к созданию аналитических решений по сравнению с традиционными промышленными системами бизнес-анализа. Решения типа data discovery предлагают пользователям интерактивный графический пользовательский интерфейс, базирующийся на архитектуре in-memory, что соответствует запросу бизнеса на простые и быстрые в работе BI-системы. Широкое проникновение на рынок подобного рода решений впервые было названо аналитиками трендом в 2010 году, и с тех пор он не утратил своей актуальности.

Главные отличия между традиционными BI-системами и системами типа data discovery по версии Gartner

	Промышленные BI-платформы	Системы data discovery
Ключевые покупатели	ИТ-службы	Бизнес
Главные поставщики	Мега-вендоры	Небольшие быстро растущие компании
Подход	Вертикально-ориентированный (сверху вниз), семантические слои, запросы к существующим репозиториям	Вертикально-ориентированный (снизу вверх), mushup, помещение данных в выделенные репозитории
Пользовательский интерфейс	Отчеты, KPI панели, сетки	Визуализация
Использование	Мониторинг, создание отчетов	Анализ
Внедрение	Осуществляют консультанты	Доступно пользователям

Gartner,2012

Разрыв между промышленными BI платформами и системами типа data discovery продолжает увеличиваться, поскольку бизнес-пользователи находят преимущества от использования data discovery столь удовлетворяющими, что выбирают их несмотря на риск фрагментации данных и инструментов, считают в Gartner. Это еще больше усиливает необходимость для ИТ-служб отойти наконец от приверженности единому вендору и заняться построением более прагматичного портфолио аналитических приложений, отмечают аналитики этой компании.

Gartner настаивает на том, что пока нет смысла в разделение data discovery и business intelligence на два разных рынка, поскольку пользователи чаще всего используют такие продукты не как взаимозаменяемые (А вместо В или В вместо А), а как взаимодополняющие (А+В).

Наибольшую адаптацию на рынке имеют три платформы data discovery - Qlik (QlikTech), Tibco Software (Tibco Spotfire) и Tableau Software. По данным Gartner, они являются лидерами как в этом сегменте, так и одними из ведущих поставщиков на мировом рынке бизнес-аналитики в целом. Однако, если рассматривать сегмент data discovery отдельно, здесь присутствуют и другие небольшие, но вместе с тем примечательные игроки. Трое из низ, Endeca (приобретенная Oracle в конце 2011 года), Advizor Solutions и Quiterian, по всем параметрам могли войти в Magic Quadrant 2012 года, но не смогли преодолеть минимальную планку по доходам. TAdviser выпустил новую Карту «Цифровизация промышленности»: свыше 250 разработчиков и поставщиков услуг 23 т

При этом поставщики промышленных BI платформ все же медленно адаптируются к реалиям data discovery. Так, в 2011 году ряд из них выпустили или анонсировали выход продуктов в этой категории: здесь уместно привести в пример MicroStrategy Visual Insight, Microsoft PowerView и IBM Cognos Insights. Покупка Oracle компании Endeca также сигнализирует о внимании корпорации к этой области.

По оценкам аналитика Gartner Риты Саллам (Rita Sallam), бумом data discovery во многом управляет … демографический рост. Поколение «миллениума» (20-30 летние в настоящий момент) сейчас составляет до 20% численности компаний, но к 2020 году их будет уже 40%.

Выпускники высших школ в 2011 году провели все годы за партой с перманентным доступом к интернету. «Они не знают мира, без постоянного контроля над информацией на кончиках пальцев», - пояснила свою мысль Саллам. «Когда представителям этого поколения предлагаешь отправиться в библиотеку, они смотрят на тебя так, словно ты советуешь им извлечь квадратный корень из 1058 на абаке», - сказала она.

Эти молодые сотрудники компаний продолжат управлять консумеризацией ИТ, в том числе и тем, каким образом доставляются результаты BI. Им необходимо, чтобы бизнес-аналитика была интуитивной, социальной и коллаборативной. Такие традиционные инструменты как отчеты и ad hoc запросы будет постепенно утрачивать свою роль, им на смену придут визуализация, дэшборды и интерактивные инструменты, полагают в Gartner.

По оценкам Gartner, рынок data discovery вырастет с $591 млн до $1 млрд в период с 2012 по 2013 годы. Типичные инструменты data discovery при этом представляют микс из вычислений в оперативной памяти, машапов, контрольных панелей (дэшбордов), инструментов самообслуживания и скорости развертывания.

Data discovery в России

Спрос на продукты класса data discovery в России растет с каждым годом.

«Сегодня data discovery – это мейнстрим на рынке бизнес-аналитики: легкие приложения, позволяющие представить уже имеющиеся данные в наглядном и удобном для анализа виде, нужны всем», - подтвердил TAdviser Сергей Шестаков, заместитель генерального директора по развитию бизнеса «Прогноз».

По его словам, пласт пользователей таких решений расширяется за счет представителей среднего бизнеса: им интересны BI-решения, которые могут использоваться без расширения штата ИТ-специалистов. Кроме того, простота и легкость продуктов data discovery привлекает менеджеров высшего и среднего звена крупных корпораций, которым не требуется углубленная аналитика, а нужно просто «на лету» построить тренд, сформировать нужный отчет, подготовиться к презентации.

У платформы, которую реализует «Прогноз», Форсайт. Аналитическая платформа (ранее Prognoz Platform), наиболее востребованы инструменты подготовки отчетов, упрощенной аналитики, построения аналитических панелей без привлечения ИТ-специалистов.

«Эта возможность обеспечивается общей логикой интерфейса, который понятен большинству пользователей офисных приложений. Работа мобильной версии платформы также построена по принципам, схожим с большинством iOS-приложений, – простота не в ущерб функциональности», - пояснил Сергей Шестаков.

На принципах data discovery строится еще один продукт «Прогноза» - Prognoz. Data Portal. Он представляет собой простой и удобный онлайн-инструмент поиска и анализа социально-экономических данных, реализованный в формате SaaS. Prognoz. Data Portal содержит информацию из 200 авторитетных российских и международных источников, которая обновляется с частотой от 1 дня до 1 месяца, и гибкие аналитические инструменты для работы с ней. Обширные данные мировой и национальных экономик автоматически загружаются, приводятся к единообразному виду и структурируются по отраслям и рынкам.

Еще один крупный игрок на российском рынке data discovery – Qlik (QlikTech).

«Мы не только согласны с тем, что аналитическое решение должно быть простым в использовании, но и создали свой продукт QlikView, руководствуясь этим правилом. Наш подход мы назвали Business Discovery, но это не копия термина data discovery от аналитической компании Gartner, который появился позже. На сегодня около 50% мирового рынка data discovery принадлежит QlikView», - отметил Владимир Иткин, директор по развитию партнерской сети QlikTech Россия.

Еще одна мощная платформа этого типа, доступная российским пользователям - Oracle Endeca Information Discovery. Она предназначена для совместного анализа структурированной и неструктурированной информации с расширенными возможностями интуитивного поиска. Endeca позволяет решать задачи, связанные со сложным и нечетко определенным поиском, получать важные факты из самых различных источников, включая социальные сети, интернет-ресурсы, сложные текстовые документы. Решения, построенные на основе Endeca, могут использоваться в страховых компаниях, банках, органах юстиции, службе по борьбе с терроризмом, политологии и так далее.

К примеру, рассказала Ольга Горчинская, руководитель исследовательских проектов и направления Big Data компании «ФОРС», с помощью этого инструментария на основе анализа сообщений в социальных медиа можно делать прогнозы о случаях проведения несанкционированных мероприятий или нарушения общественного порядка.

Использование технологий Data Discovery очень часто связано с использованием огромного объема текстовой информации, добавила эксперт. И здесь необходимо иметь в виду еще один класс инструментов, без которых невозможно работать с такими данными. Речь идет о лингвистических инструментах и специальных программных пакетах для обработки и анализа текстов.

«В отличие от привычных нам интернациональных продуктов, здесь очень важна поддержка национального языка, основанная на его морфологических, синтаксических и семантических особенностях. В этом сегменте мы ориентируемся на разработки российских компаний, имеющих опыт в решении таких задач»,- добавила Ольга Горчинская.

Вообще простота data discovery это только одна сторона медали, видимая пользователям. С другой стороны в основе таких платформ лежат довольно сложные технологии. Например, популярной аналитической задачей является управление оттоком клиентов. Стандартное решение – взять историю заказчиков, с помощью сложных математических алгоритмов построить модель или типовой профиль нелояльного клиента, а затем для новых клиентов определять степень близости их к нелояльным. Это очень непростое решение, оно требует участия и технических специалистов для подготовки данных, и специалиста по data mining для построения моделей. А бизнес-пользователи видят на своих экранах только результат – списки пользователей с вероятностью их оттока, и с помощью очень простых действий могут отбирать 10 самых нелояльных клиентов, смотреть о них дополнительную информацию тому подобное.

Для бизнес-пользователей такое решение выглядит максимально простым.

«Видимо, правильнее всего говорить о максимальном упрощении интерфейса при нарастающей сложности функциональности и архитектуры решения. Иными словами, с системой должно быть легко и удобно работать бизнес-пользователям, чтобы даже непрофессионал мог быстро получать необходимую ему информацию. Но это не означает, что системы становятся проще – напротив, они усложняются всё больше, просто пользователи не должны этого замечать и сосредотачиваться на решении своих предметных задач»,- заключила Ольга Горчинская.

Исследование данных или data discovery – это действительно новое направление в области анализа. Это совсем другой подход к работе с данными по сравнению с традиционным бизнес-анализом. Опрошенные TAdviser эксперты из числа вендоров и системных интеграторов уверены, что на базе таких систем будет реализовываться все больше проектов.

См.также

Business Intelligence (рынок России)

География BI-проектов

Главные тенденции рынка BI в России

Российский BI: отраслевая специфика

Внедрения BI в России: типичные ошибки