Oracle Big Data Appliance

Oracle официально представила систему Big Data Appliance в ходе конференции OpenWorld в Сан-Франциско. Это комплексное решение, которое пополнит новейшую линейку корпорации, созданную на стыке программных продуктов Oracle и серверных платформ, которые достались ей после покупки Sun.

В Big Data Appliance включен программный фреймворк с открытым кодом Hadoop, Oracle Data Integrator Application (адаптированное под Hadoop), Oracle Loader для Hadoop, дистрибутив также открытой аналитической статистической системы и база данных Oracle NoSQL.

Вице-президент корпорации по серверным технологиям и базам данных Энди Мендельсон так прокомментировал запуск продукта: «Сегодня существует множество данных. Большинство из них имеют небольшую значимость для бизнеса. Существуют крупицы информации, которые людям действительно нужно найти. Hadoop и другие инструменты дистиллируют эти данные в поисках значимых сведений. Решение может быть использовано вместе с хранилизами данных, такими как Exedata, для дальнейшего анализа», - отметил он.

Согласно официальному заявлению, Oracle планирует предоставлять все продукты, вошедшие в комплект Big Data Appliance, отдельно и в том числе без «железной» платформы. Точная цена решения и дата поступления его в продажу пока не названы. Отметим, что у Big Data Appliance уже есть конкурирующие продукты от других вендоров - Aster Data, Netezza и Greenplum.

На конференции OpenWorld Oracle сделала уже целый ряд важных анонсов. Так, днем ранее было представлено новое решение – Exalytics Intelligence Machine. Это in-memory база данных, созданная специально как ответ in-memory платформе SAP HANA.

Машина Exalytics состоит из 40 процессорных ядер и имеет 1Тб DRAM, при это она имеет возможность за счет специальных технологий сжатия работать с объемами данных в 5-10 Тб. Новая система работает на стеке ПО от Oracle, в который входят in-memory база данных TimesTen, BI инструменты и сервер Essbase OLAP (online analytical processing).Партнерство под крылом «Колибри-АРМ»

Все эти новую решения дополнят Exadata. Аналитик Forrester Джеймс Кобеилус (James Kobielus) отметил, что когда речь заходит об обработке больших объемов данных, важны прежде всего мощность решения, скорость обработки информации и разнообразие структур данных. «У Exadata все это есть. Решение оптимизировано для смешанных рабочих нагрузок и массовой параллельной работы и имеет богатую библиотеку алгоритмов и моделей анализа», - отметил он.

В январе 2012 года корпорация Oracle объявила о поступлении в продажу Oracle Big Data Appliance, оптимизированного программно-аппаратного комплекса, призванного помочь заказчикам в получении максимальных преимуществ от использования «больших данных» (Big Data) для бизнеса

Oracle Big Data Appliance представляет собой оптимизированный комплекс, объединяющий аппаратное и программные продукты, включаяCloudera’s Distribution с Apache Hadoop и Cloudera Manager, а также дистрибутив среды программирования R с открытым исходным кодом.

Комплекс Oracle Big Data Appliance, работающий под управлением операционной системы Oracle Linux, также включает СУБД Oracle NoSQL Database Community Edition и Oracle HotSpot Java Virtual Machine.

Oracle также сообщила о начале продаж программного продукта Oracle Big Data Connectors, который помогает заказчикам с легкостью интегрировать данные, сохраненные в Hadoop и Oracle NoSQL Database, с Oracle Database 11g.

Oracle Big Data Appliance с пакетом программного обеспечения Oracle Big Data Connectors, в сочетании с оптимизированными программно-аппаратными комплексами Oracle Exadata Database Machine, Oracle Exalogic Elastic Cloud, и Oracle Exalytics In-Memory Machine, предоставляет заказчикам все необходимое для получения, систематизации и анализа «больших данных» в рамках всего корпоративного информационного массива.

Соответствие требованиям по управлению «большими данными»

Комплекс Oracle Big Data Appliance, предназначенный для упрощения управления и использования «больших данных», поставляется в полной стоечной (full rack) конфигурации из 18-ти серверов и содержит в общей сложности:

• 864 ГБ оперативной памяти;
• 216 процессорных ядер;
• 648 ТБ «сырой» дисковой памяти;
• Сетевую инфраструктуру InfiniBand с пропускной способностью 40 Гбит/с между узлами комплекса и другими оптимизированными программно-аппаратными комплексами Oracle; и
• Интерфейсы Ethernet с пропускной способностью 10 Гбит/с для подключения ко всем остальным компонентам центра обработки данных.

Новый оптимизированный программно-аппаратный комплекс может масштабироваться с помощью соединения нескольких стоек в единый кластер через сетевой интерфейс InfiniBand, что позволяет получать, систематизировать и анализировать сверхбольшие объемы данных.

«Oracle Big Data Appliance в сочетании с Oracle Exadata, Oracle Exalytics и Oracle Exalogic Elastic Cloud предлагает самый обширный и интегрированный портфель продуктов, который призван помочь заказчикам в получении и систематизации различных типов данных, а также при анализе этих и других имеющихся корпоративных данных, что позволяет извлекать новые важные знания и быть максимально информированным при принятии решений », – отметил Цетин Озбутун (Cetin Ozbutun), вице-президент Oracle по направлению Data Warehousing Technologies.

В состав Oracle Big Data Appliance входит продукт Cloudera's Distribution, включающий Apache Hadoop (CDH) – наиболее полный, проверенный, устойчивый и широко используемый в коммерческих и некоммерческих средах дистрибутив Hadoop Oracle Big Data Appliance также включает Cloudera Manager, первое в отрасли приложение для комплексного (end-to-end) управления Apache Hadoop.

Выпущенная ранее Oracle NoSQL Database представляет собой распределенную СУБД типа «ключ/значение» (key-value), предназначенную для управления большими объемами данных. Oracle NoSQL Database горизонтально масштабируется до сотен узлов, обеспечивает высокую доступность данных, предсказуемые уровни пропускной способности и времени ожидания, требуя при этом минимального администрирования. Комплекс Oracle Big Data Appliance может работать с СУБД Oracle NoSQL Database в редакциях Community Edition и Enterprise Edition.

Комплекс Oracle Big Data Appliance специально спроектирован, чтобы помочь заказчикам:

• Быстро запустить масштабируемую систему высокой доступности для управления большими массивами данных;
• Создать высокопроизводительную платформу для систематизации, обработки и анализа «больших данных» в среде Hadoop, а также для использования статистических приложений на языке R с источниками первичных данных; и
• Контролировать ИТ-затраты благодаря предварительной интеграции всех аппаратных и программных компонентов в единое решение для «больших данных», которое дополняет корпоративные хранилища данных.

Оптимизация интеграции «больших данных» с корпоративными хранилищами данных

Пакет программного обеспечения Oracle Big Data Connectors поставляется для использования как с комплексом Oracle Big Data Appliance, так и с другими системами на базе Apache Hadoop. Комплект поставки включает:

• Загрузчик Oracle Loader for Hadoop – использует механизм MapReduce для эффективной загрузки данных в СУБД Oracle Database 11g;
• Адаптер Oracle Data Integrator Application Adapter for Hadoop – позволяет Oracle Data Integrator генерировать программы Hadoop MapReduce через простой в использовании графический интерфейс;
• Модуль сопряжения Oracle Connector R – обеспечивает пользователям приложений R быстрый и эффективный доступ к распределенной файловой системе Hadoop Distributed File System (HDFS) и базовой платформе программирования MapReduce; и
• Модуль сопряжения Oracle Direct Connector for Hadoop Distributed File System (ODCH) – обеспечивает Oracle Database беспроблемный доступ к данным из файловой системы Hadoop Distributed File System через SQL.

Oracle Big Data Connectors и СУБД Oracle NoSQL Database могут поставляться как отдельные программные продукты, независимо от оптимизированного программно-аппаратного комплекса Oracle Big Data Appliance.

Oracle Big Data Appliance X3-2

Oracle Big Data Appliance X3-2 — это экономически эффективный оптимизированный программно-аппаратный комплекс, который прошел модернизацию и оснащен новейшими процессорами Intel, новой версией дистрибутива Cloudera Distribution of Apache Hadoop (CDH) и Cloudera Manager, а также новым подключаемым модулем Oracle Enterprise Manager for Big Data Appliance.

В Oracle Big Data Connectors усовершенствованы возможности доступа к Hadoop: SQL-доступ из баз данных Oracle стал лучше, а доступ из приложений, написанных на языке R, — прозрачнее.

Oracle Big Data Appliance с программными продуктами Oracle Big Data Connectors, в сочетании с Oracle Exadata Database Machine и Oracle Exalytics, предоставляет заказчикам полный набор оптимизированных программно-аппаратных комплексов для получения, систематизации и анализа «больших данных». Новые версии повышают производительность обработки данных, расширяют объем памяти, улучшают интеграцию и возможности управления.

Аппаратная часть Oracle Big Data Appliance X3-2 содержит 8-ядерные процессоры Intel Xeon серии E5-2600. По сравнению с предыдущей конфигурацией из 18 серверов с объемом «сырой» дисковой памяти 648 Тб новая версия предлагает:

• на 33% больше вычислительной мощности благодаря 288 процессорным ядрам;
• на 33% больше оперативной памяти в расчете на узел при общем объеме оперативной памяти в 1,1 Тб;
• до 30%.экономии на питании и охлаждении оборудования.

Oracle Big Data Appliance X3-2 упрощает внедрение и управление решениями для «больших данных» благодаря интеграции всех аппаратных и программных компонентов, необходимых для сбора, систематизации и анализа «больших данных». Oracle Big Data Appliance X3-2 включает:

• поддержку CDH4.1, в том числе обновление программного обеспечения, разработанного совместно с компанией Cloudera, для реализации высокой доступности NameNode в среде Hadoop. Это позволяет устранить в кластерных конфигурациях Hadoop уязвимые элементы, отказ которых приводит к отказу всей системы;
• новую версию Oracle NoSQL Database Community Edition 2.0, которая обеспечивает улучшенную интеграцию с Hadoop и гибкое масштабирование, а также содержит новые интерфейсы для программирования, включая поддержку JSON и C;
• подключаемый модуль Oracle Enterprise Manager for Big Data Appliance, который дополняет возможности Cloudera Manager, облегчая управление кластером Hadoop;
• обновленные дистрибутивы Oracle Linux и Oracle Java Development Kit;
• обновленный дистрибутив R с открытым исходным кодом, оптимизированный для работы с высокопроизводительными многопотоковыми библиотеками математических функций.

Oracle Big Data Connectors — это набор программных продуктов, созданный Oracle для интеграции Apache Hadoop с СУБД Oracle, Oracle Data Integrator и дистрибутивом Oracle R Distribution.

Усовершенствования Oracle Big Data Connectors расширяют возможности интеграции «больших данных». Новая версия Oracle Big Data Connectors в дополение к обновлениям всех модулей предлагает:

• модуль сопряжения Oracle SQL Connector for Hadoop Distributed File System для повышения производительности SQL-запросов к данным, сохраненным в Hadoop, из баз данных Oracle. Рост производительности достигнут за счет дополнительной автоматизации и улучшения функционала запросов. Новый модуль также поддерживается в Oracle Data Integrator Application Adapter for Hadoop;
• прозрачный доступ к языку запросов Hive Query из приложений R и реализацию новых аналитических методик, выполняемых в Hadoop, что повышает эффективность разработчиков приложений на языке R благодаря улучшению доступа к Hadoop из среды R.

2013: Защита основания распределенной обработки

На конференции Oracle OpenWorld 22-26 сентября 2013 года корпорация сообщила об усовершенствованиях в системах обработки Больших Данных. В частности, программно-аппаратный комплекс Big Data Appliance теперь обеспечивает «защиту корпоративного класса» системы распределенной обработки данных Hadoop.

Big Data Appliance поддерживает аутентификацию по протоколам Kerberos и LDAP, интегрирован с защитной системой Oracle Audit Vault and Database Firewall. Система ведет мониторинг журналов регистрации событий Hadoop и генерирует предупреждение администраторам.

Новый программный модуль Perfect Balance для Big Data Appliance выполняет балансировку нагрузки, ускоряя выполнение задач MapReduce. Для Hadoop в Oracle разработали коннектор, обеспечивающий возможность опроса и преобразования XML-документов с помощью языка XQuery.

Oracle Big Data Appliance X4-2

14 ноября 2013 года корпорация Oracle объявила о начале продаж программно-аппаратного комплекса Oracle Big Data Appliance X4-2, в составе которого полный технологический стек Cloudera Enterprise, реализована поддержка дисковой емкости на 33% больше - в сумме 864 ТБ на одну аппаратную стойку.

Описание

Oracle Big Data Appliance X4-2 представляет собой комплексную платформу для работы с «Большими данными», оптимизированную как для пакетной, так и для обработки данных в режиме реального времени. Платформа использует программное обеспечение Cloudera Distribution for Apache Hadoop, Oracle NoSQL Database, Cloudera Impala и Cloudera Search чтобы обеспечить соответствие требованиям к вычислительным ресурсам.

Предприятия получат больше ресурсов для хранения данных, используя Oracle Big Data Appliance X4-2, что поможет им формировать экономически более выгодную платформу для работы с "Большими данными", тем самым помогая в создании новых преимуществ для бизнеса.