Искусственный интеллект приходит
в управление ИТ-мощностями
Компании повсеместно переходят на работу со своими клиентами через цифровые каналы. По прогнозам аналитиков, рынок e-commerce растет из года в год: в 2017 году увеличился на 13%, к концу 2018 ожидается повышение до 20%[1]. В новой реальности потребителю крайне легко сменить поставщика товаров или услуг, если его ИТ-сервисы оказались недоступны. Достаточно открыть новую вкладку в браузере или установить мобильное приложение конкурента. Поэтому сегодня как никогда остро стоит вопрос обеспечения высокого уровня доступности всех бизнес-сервисов. Некачественно оказанная онлайн-услуга, а также любая другая техническая ошибка формируют у клиента негативный опыт взаимодействия с брендом и сильно влияют на лояльность.
Содержание |
Capacity planning: предупрежден, значит вооружен
Одним из ключевых инструментов обеспечения доступности ИТ является управление мощностями (Capacity planning). Это процесс работы с рисками деградации или отказа ИТ-сервисов вследствие нехватки ресурсов. По сути, это техника прогнозирования будущих потребностей бизнеса в ИТ и поиска экономически эффективного способа их удовлетворения.
Управление мощностями ИТ-инфраструктуры можно разбить на три главных компонента:
1. Мониторинг нагрузок и накопление исторических данных в режиме 24х7. Система мониторинга следит за загрузкой процессоров, памяти, дисков, затем накапливает исторические данные по разным компонентам инфраструктуры и реагирует на пороговые значения, сообщающие о риске отказа сервисов.
2. Контроль и прогнозирование достаточности ресурсов. Ежемесячное или ежеквартальное формирование отчета, который отражает текущую картину использования ИТ-мощностей и содержит условную «дату смерти» системы, которая наступит, если не добавить новых ресурсов.
3. Планирование мощностей, которое обычно привязывается к ежегодному циклу бюджетирования. План мощностей фиксирует потребности бизнеса и содержит прогноз необходимых ресурсов и оценку затрат на них. Эти данные становятся точкой опоры для проектов по развитию ИТ-инфраструктуры на следующий год.Цифровизация ТЭК: тренды, перспективы, крупнейшие ИТ-поставщики. Обзор TAdviser 
И если с первыми двумя задачами большинство компаний справляются самостоятельно, то планирование, в силу его сезонной периодичности и трудоемкости, зачастую отдают на реализацию внешнему подрядчику.
Почему сделать план мощностей — непростая задача?
Чтобы ответить на этот вопрос, нужно заглянуть в саму суть процесса планирования. Он начинается с бизнеса и его задач по развитию на следующий год и заканчивается на самом нижнем уровне, т.е. буквально количеством новых стоек в ЦОД.
Первый шаг — изучить маркетинговый план с ожидаемыми целевыми показателями. Если бизнес планирует запустить масштабную акцию, увеличить средний чек на 8%, сократить количество офлайн-точек на треть и нарастить клиентскую базу на 20% за счёт запуска нового интернет-магазина, то нельзя сказать сразу, какую реальную нагрузку на ИТ-инфраструктуру нужно ожидать в следующем году. Невозможно сразу конвертировать количество новых клиентов в техническое задание на закупку дополнительных серверов, поскольку между этими точками существует множество уровней: бизнес-приложений, промежуточных сервисов, системного ПО и т.д. Поэтому после того, как мы собрали бизнес-метрики, наша задача перевести их в понятные для прикладного уровня единицы нагрузки. Например, если компания в следующем году планирует привлечь на 20% больше клиентов, большая часть из которых воспользуется онлайн-магазином, то это серьезно отразится на CRM-системе, в которую будут обращаться на 30% чаще.
На следующем уровне работают владельцы бизнес-приложений, то есть специалисты, которые отвечают за конкретную систему в компании. Задача этих людей — руководствуясь вводными данными от бизнеса, сформулировать в сторону администраторов прикладных сервисов требования в понятных им метриках: «если у меня будет на 30% больше обращений в CRM и увеличится количество ее пользователей, то в сторону СУБД будет на 45% больше запросов».
Получив информацию от владельцев приложений, администраторы приходят к специалистам, которые занимаются ИТ-инфраструктурой, и озвучивают им свои требования. Чаще всего они выражаются в количественном выражении вычислительных ресурсов: «нужен новый сервер СУБД, дополнительные серверы приложений для CRM и апгрейд СХД».
Инфраструктурщики, в свою очередь, идут к инженерам, обслуживающим ЦОД, и говорят им, что «нужно организовать две дополнительные стойки мощностью 15 кВт, чтобы обеспечить новое оборудование питанием».
Требования транслируются от уровня к уровню, а обратно возвращаются спецификации: от инженеров ЦОД — на стойки, СКС и кондиционеры, от специалистов по ИТ-инфраструктуре — на серверы, от прикладных администраторов — на лицензии и так далее. В бизнес поступает консолидированная бюджетная оценка, которая проходит еще несколько итераций и под конец принимается. И чаще всего в своей практике мы сталкиваемся с тем, что эта оценка не отражает реальных потребностей.
С одной стороны — про бизнес, с другой — про гигагерцы. Как им договориться?
Конвертация метрик
Как бизнес-показатели форматировать в количество транзакций? Как из них понять, сколько серверов и дисковых массивов нужно закупить на следующий год? На этот вопрос отвечает слишком длинная цепочка людей, общение которых растянуто во времени, а зона ответственности размыта. Формируется языковая пропасть между бизнесом и ИТ, где бизнес рассуждает в понятных ему терминах про пользователей, продажи, выручку и звонки в колл-центр, а ИТ-специалисты пользующиеся словарем «мегагерцов и гигабайтов». Эти люди из разных миров встречаясь на линии огня, говорят о разных вещах и в следствие этого не договариваются.
По наблюдению специалистов компании «Инфосистемы Джет», в попытке выбраться из пропасти непонимания заказчики используют три подхода:
1. Игнорировать вводные бизнеса. Это выбор многих — достаточно внутри ИТ-департамента взять исторические данные о росте систем, построить корреляцию и на ее основе сформировать ТЗ на закупку «железа». Напоминает вождение автомобиля, когда вы смотрите только в зеркало заднего вида: далеко уехать не получится.
2. Использовать экспертную оценку. Опытного сотрудника (как правило администратора какой-то крупной системы или базы данных) спрашивают, что будет с системами, если в следующем прирост клиентской базы составит 20%? Руководствуясь своим многолетним опытом, коллега формирует некий собственный авторитетный прогноз. Попадает в цель он в очень незначительном числе случае, потому что методики перевода пожеланий бизнеса в гигагерцы все равно нет.
3. Искать зависимости вручную. Некоторые компании, ощутившие на себе бессмысленность предыдущих подходов, стали решать задачу планирования системно. Стандартная практика в этом случае — завести в Excel данные по нагрузке ИТ-систем и бизнес-драйверы, затем с помощью регрессионного анализа найти зависимость между квадратными метрами ЦОД, мегагерцами, мегабайтами, продажами и звонками в колл-центр. Идущие по этому пути сталкиваются с рядом проблем: во-первых, это очень сложный процесс, требующий вручную обработки титанического объема данных, во-вторых, точность такого анализа весьма условная. Вся эта история создает всего лишь наукообразность процесса, но слабо приближает людей к реальному решению проблемы.
Переводчик с языка бизнеса на технический
А почему бы не подключить к планированию мощностей технологии машинного обучения? Предсказанием спроса клиентов в зависимости от внешних факторов сейчас уже никого не удивить, так почему бы не применить аналогичный подход в ИТ? Именно это специалисты «Инфосистем Джет» и планируем сделать в новом продукте Jet Capacity Manager, разработка которого сейчас активно ведётся.
Лежащая в его основе нейронная сеть обучается на исторических данных, собранных с разных уровней мониторинга. Затем система анализирует заданные в нее бизнес-метрики и формирует прогноз потребности в ИТ-ресурсах для удовлетворения заданным показателям.
Такой подход решает несколько проблем:
Проблема №1: низкая точность прогноза.
Решение: Нейронная сеть учитывает сложные паттерны и нелинейные взаимосвязи между бизнес-метриками и нагрузкой на инфраструктуру, а также внешние факторы, например, производственный календарь, маркетинговые акции или фоновые технологические операции. Подобный подход обеспечивает высокую точность прогнозирования.
Проблема №2: трудоемкость. Так как данные со всех систем собираются в разных форматах и с разной периодичностью, приводить их к единому знаменателю — ресурсозатратная задача.
Решение: Программа использует встроенное средство импорта и подготовки данных. Это открывает возможность прогнозировать нагрузку по требованию, «в один клик», поскольку данные консолидируются и обрабатываются в режиме реального времени. Такая опция необходима, например, ритейлеру для предсказания нагрузки на ИТ в высокий сезон или «черную пятницу».
Jet Capacity Manager – дипломат за столом переговоров
Объединение технологий сбора и анализа больших данных с самообучающейся нейросетью в единую систему показало хорошие результаты. Первая версия Jet Capacity Manager была запущена на исторических данных клиента «Инфосистем Джет» — крупного интернет-магазина. В качестве значимых бизнес-параметров были выбраны количество сессий и посетителей, одновременно присутствующих на сайте. По нескольким десяткам серверов система адекватно отражала ожидаемые изменения нагрузки. Программа также проанализировала специфику работы ИТ-инфраструктуры с разными ролями и «увидела», что сервер пакетной обработки всего один, но его функционирование настолько критично, что для поддержки работы бизнеса следует поставить еще три таких же.
Помимо прогнозирования нагрузки на ИТ-ресурсы система даёт возможность строить тренды с предиктивным прогнозом и отвечает на вопрос, например, что будет с загрузкой центрального процессора в течение трех месяцев или полугода. Помимо доступных дашбордов, система формирует отчет с рекомендациями. В них отмечаются важные сигналы, например, что 30% серверного парка выйдет за границу нагрузки в 80% в течение следующего квартала, что позволяет вовремя инициировать закупочные процедуры.
Заключение
Многие проблемы, которые годами стояли перед ИТ и традиционно считались плохо решаемыми или нерешаемыми вообще, сейчас оказались по зубам новейшим технологиям. Колоссальный рост вычислительных мощностей, новые методы машинного обучения и развитие нейронных сетей привели к тому, что сложные и трудоемкие задачи, например, по управлению мощностями, стало возможно отдавать на аутсорсинг искусственному интеллекту. Он находит неочевидные закономерности между бизнесом и ИТ и отражает их в понятной первому форме. В итоге компании повышают свою эффективность за счет лучшего управления ИТ-инфраструктурой и прозрачных затрат на ее обслуживание.
Если вас заинтересовал Jet Capacity Manager, и вы хотите узнать подробнее о том, как он может помочь в планировании ИТ-мощностей для вашей компании, пишите на jetcapman@jet.su
Автор: Илья Воронин, директор Центра проектирования вычислительных комплексов компании «Инфосистемы Джет».
Примечания
