ИМБА ИТ помогла СК «Лужники» оптимизировать ИT-инфраструктуру

Спорткомплекс «Лужники» — крупнейшая в России общественная спортивная площадка. В «Лужниках» расположено более 80 объектов, наиболее известный и крупный из них — это Большая спортивная арена, рассчитанная на 81 тыс. зрителей.

Построенная в 1956 году арена несколько раз подвергалась реконструкциям, последняя из которых состоялась в 2018 году. Чтобы принять чемпионат мира по футболу в соответствии с международными правилами ФИФА, было необходимо увеличить вместимость арены на 3 тыс. мест, организовать дополнительные входы и выходы, обновить газон и многое другое. Также предстоящее мероприятие потребовало кардинальной переработки ИT- инфраструктуры, поддерживающей деятельность спортивного комплекса.

Одной из ключевых задач стало создание двух мощных ЦОДов, обеспечивающих поддержку систем безопасности. К таким системам, в частности, относилось видеонаблюдение — до чемпионата на территории «Лужников» было много «слепых зон», теперь же подконтрольным должен был быть каждый сантиметр пространства СК.

ЧМ по футболу 2018: ИT-инфраструктура расширяется

К началу ЧM 2018 CК «Лужники» запустил в эксплуатацию два ЦОДа на 20 стоек с системами хранения общей емкостью 5,5 Петабайт. Оба ЦОДа были спроектированы как отказоустойчивые и взаиморезервируемые. По сути, это был единый ЦОД, растянутый на две площадки, между которыми проложили оптические каналы.

Алексей Красов, первый заместитель руководителя центра информационных технологий АО «Лужники», рассказывает: «Системы, размещенные на новом ЦОДе, можно условно разделить на два сегмента. Первый сегмент закрытый. Он работал с системами, обрабатывающими персональные данные сотрудников и клиентов „Лужников“, и занимал около 1000 процессорных ядер. Второй сегмент технологический, в нем „обитали“ системы видеонаблюдения, оповещения, охранной сигнализации, телефонии и так далее. Он занимал около 600 ядер. Наиболее ресурсоемкой системой, размещенной на ЦОДе, был видеоархив. В рамках подготовки к ЧМ на территории „Лужников“ установили около 1700 камер, видео с которых получали МВД, ЕЦХД и еще несколько городских служб, занимающихся обеспечением безопасности гостей ЧМ.

Причем информация к ним поступала как в режиме реального времени, так и в записи. Хранить архив в высоком качестве для возможности разбора инцидентов „Лужники“ были обязаны в течение 60 дней, что требовало больших ресурсов».

Утилизация избыточных вычислительных мощностей

По окончании чемпионата мира по футболу 2018 нагрузка на ЦОД значительно упала. Меньше всего были востребованы мощности, находящиеся в сегменте работы с персональными данными, рассчитанные на обработку видеоматериала с камер, в том числе распознавание лиц.

«Содержать имеющиеся мощности нам было невыгодно, — вспоминает Алексей Красов. — Они потребляли электроэнергию, требовали регулярного технического обслуживания, проведения профилактических работ. Мы должны были поддерживать в рабочем состоянии бесперебойные источники питания, кондиционирование. Планировалось, что аренда поможет нам компенсировать расходы на содержание ЦОДа».

Таким образом, перед «Лужниками» встала задача оптимизировать вычислительную инфраструктуру и подготовить часть оборудования для сдачи в аренду.

Для выполнения работ команда СК «Лужники» решила привлечь внешних специалистов. Внешнему подрядчику, согласно техническому заданию, предстояло реализовать проект по миграции систем внутри ЦОДа и последующему освобождению мощностей для арендаторов:

• выбрать метод миграции;
• провести «сайзинг» — посчитать минимальный объем, на котором могут безопасно функционировать прикладные системы «Лужников»;
• проработать план миграции, в том числе график временного отключения систем, скоординировать работу с администраторами «Лужников»;
• провести миграцию.

Победителем конкурса на проведение работ стала компания ИМБА ИТ. «Наше главное преимущество заключалось в том, что мы уже проводили аналогичные проекты по миграции систем внутри ЦОДов для других заказчиков, а кроме этого, имели опыт работы с „Лужниками“ и знали все нюансы их ИT-инфраструктуры, в том числе принцип устройства ЦОДов», — рассказывает Дмитрий Крупнин, руководитель отдела архитектуры и технического пресейла ИМБА ИТ.

Предполагалось, что перемещение систем будет проведено внутри существующего ЦОДа, данные мигрируют с большой мощной фермы на более компактную. Первую же планировалось сдавать в аренду.

Подготовка к миграции

Для определения объема вычислительных данных, необходимых для текущей деятельности «Лужников», специалисты ИМБА ИТ опиралась на информацию с системы мониторинга, которая, в свою очередь, являлась частью системы по виртуализации VMware, развернутой еще в 2018 году на этапе инсталляции ЦОДов.

«Мы долгое время наблюдали за утилизацией ресурсов, отслеживали тенденции, пиковые нагрузки в момент проведения различных мероприятий, — рассказывает Дмитрий Крупнин. — Система мониторинга позволила нам достаточно глубоко проанализировать текущее положение дел, собрать всю необходимую статистику».

Для оптимизации требуемых вычислительных мощностей ИМБА ИТ совместно с администраторами «Лужников» меняли регламенты использования прикладных систем, адаптируя их под текущие задачи. За счет сокращения срока хранения видеозаписей был уменьшен объем необходимого пространства для систем видеонаблюдения. Также была проведена оптимизация систем резервного копирования, удалены невостребованные приложения.

«Для миграции выбрали метод, который не требовал дополнительных расходов и позволил перенести машины между фермами виртуализации c помощью Veeam Backup & Replication, — рассказывает Дмитрий Крупнин. — Это решение отлично подходило под инфраструктуру „Лужников“ и закрывало 90% задач по миграции, которые требовалось выполнить. При этом для его использования пришлось сделать дополнительную обвязку из виртуальных машин».

Одним из ключевых технических решений проекта стал перенос физических серверов, выделенных под видеонаблюдение, в виртуальную среду.

«Мы смогли это сделать благодаря изменению политики вендора Milestone, обеспечивающего работу систем наблюдения, — продолжает Дмитрий Крупнин. — Пять лет назад, в момент инсталляции на ЦОДы „Лужников“, решение могло работать только на железе. Недавно разработчики добавили возможность виртуализации, что позволило нам еще больше уплотниться. В итоге из эксплуатации были выведены и размещены в виртуальной среде 22 сервера. Всего же в рамках проекта миграции „переехало“ около 100 серверов».

Основные риски: стабильная работа видеонаблюдения и СКУД

Крайне важно было обеспечить стабильную работу двух критических систем — системы видеонаблюдения и СКУД, регулирующей процедуру входа на территорию «Лужников».

«Основная задача по миграции системы видеонаблюдения заключалась в том, чтобы не потерять уже накопленную в ней информацию, — рассказывает Алексей Красов. — Система настроена таким образом, что при переключении на другой сервер теряется путь к архиву за 30 дней.

Если бы какие-то данные, полученные за этот срок, понадобились службам охраны или правоохранительным органам, „добыть“ их можно было только с помощью дополнительного ПО и плеера, что достаточно трудозатратно. Поэтому в процессе миграции параллельно с работающим физическим сервером мы запускали виртуальные машины, которые в параллели записывали тот же архив. Архив копился в течение месяца, и в тот момент, когда на виртуальном сервере набиралось достаточно информации, отключали серверы физические. Процесс шел постепенно — физические машины одну за другой гасили и переходили на виртуальные».

Не менее важным было обеспечить стабильную работу СКУД и парковочной системы. В результате сбоя в этих системах посетители не смогли бы заехать на парковку или выехать с нее, что привело бы к серьезным репутационным потерям.

«СКУД в СК „Лужники“ использовала проприетарные протоколы и была достаточно капризной, — говорит Дмитрий Крупнин. — Раньше ее перемещение на другие серверы приводило к сбоям. Поэтому мы заранее подготовились к ситуации, при которой нам пришлось бы заниматься устранением неполадок, создали резервные копии и приняли еще ряд специфических мер».

«Процесс миграции был похож на игру в пятнашки, когда за один ход мы можем передвинуть только одну фигуру, — вспоминает Алексей Красов. — Мы работали на полностью живой системе. Возможности все выключить, переделать и включить заново не было. Поэтому приходилось двигаться медленно».

Результат

Разработка плана миграции заняла у проектной команды примерно месяц. Перенос данных проходил ночью и требовал участия администраторов, которые сразу после миграции проверяли правильность работы систем.

Критических остановок допущено не было.

Оборудование для арендаторов было перенесено в отдельные шкафы, но осталось в тех же машзалах. Между частью ЦОДа, принадлежащей

«Лужникам», и частью, предназначенной для аренды, были разграничены права доступа, шкафы с оборудованием оснащены электронными замками.

Сейчас ЦОДы СК «Лужники» полностью готовы к сдаче в аренду. Поиск арендаторов планируется осуществлять через единого оператора, с которым в середине 2022 года был подписан договор о стратегическом сотрудничестве