Эволюция сетей ЦОД: Отечественные разработки и их сравнение с западными аналогами

Сентябрь-октябрь 2024
Журнал Connect: www.connect-wit.ru

Дмитрий Плешаков Развитие технологий машинного обучения, облачных вычислений, обработка и анализ больших объемов данных – все это является драйвером для современных технологий построения высокоскоростных сетей передачи данных. Производители сетевого оборудования создают все более скоростные коммутаторы Ethernet для поддержки быстро растущих рабочих нагрузок, внедряют ИИ в платформы управления для повышения эффективности работы.

По данным IDC, общие доходы мирового рынка коммутаторов 200/400 GbE выросли на 104,3 % в годовом исчислении во II квартале 2024 года и на 35,7 % в последующем, что свидетельствует о высоком интересе к самым высокоскоростным коммутаторам Ethernet, используемым в центрах обработки данных. В свою очередь, доходы от продаж коммутаторов 100Gb Ethernet выросли на 13,0 % за период с I по II квартал 2024 года. Какие же изменения произошли в инфраструктуре центров обработки данных за последние годы?

Эволюция сетей ЦОД

Сеть центра обработки данных является основной частью сети любого предприятия или поставщика услуг, позволяя охватить различные решения по подключению вычислительных серверов, баз данных, передачи голоса по IP (VoIP), сетей доставки контента (CDN) и др.

Сеть центра обработки данных должна обладать несколькими ключевыми характеристиками, чтобы обеспечить надлежащие ресурсы для экосистемы услуг, которую она поддерживает:

Пропускная способность современной сети - особенно для трафика в направлении восток-запад¹. Большая часть трафика в центре обработки данных идет с востока на запад, и большая его часть должна быть сосредоточена в пределах центра обработки данных.

Примечание 1: трафик с востока на запад представляет собой трафик между серверами/приложениями в центре обработки данных, а трафик с севера на юг - трафик, идущий к центру обработки данных/от него (т. е. выходящий из центра обработки данных/входящий в него).

Высокая доступность / отказоустойчивость. Каждый компонент центра обработки данных должен обладать высокой доступностью и отказоустойчивостью. Начиная с устойчивости локальных каналов связи и заканчивая резервными источниками питания и процессорами трафика, каждый компонент должен быть спроектирован и развернут с учетом устойчивости.
Масштабируемость. Сама сеть должна быть способна быстро масштабироваться, особенно в горизонтальном направлении. Такие операции, как добавление нового коммутатора в верхнюю часть стойки (TOR), должны быть простыми и понятными.
Безопасность. Последний, но не менее важный фактор, который необходимо учитывать при проектировании центра обработки данных, — это безопасность. От физической защиты до шифрования дисков и аутентификации протоколов — доступ к сети центра обработки данных должен быть закрыт и ограничен только для авторизованного персонала.

Традиционные сети центров обработки данных

Традиционно сети центров обработки данных строились на основе соединений второго уровня — в основном с использованием коммутаторов второго уровня и как минимум одной пары (для обеспечения высокой доступности) устройств третьего уровня — обычно маршрутизаторов и/или брандмауэров в некоторых случаях (см. рис. 1).

Рис. 1

Приведенную выше архитектуру принято называть трехуровневой или же ядро-агрегация-доступ. Это одна из первых стандартных архитектур, которая широко используется и по сей день и предлагает некоторые базовые функции.

Другая разновидность этой архитектуры называется вырожденной конструкцией ядра, в ней ядро и уровни распределения (агрегации) объединены в один (см. рис 2):

Рис. 2

В связи с быстрым развитием требований к сетевому подключению, сегментирование сети на основе тегов виртуальных локальных сетей (VLAN) стало проблемой (ограниченное количество VLAN, использование STP для защиты от циклов и т.д.) Кроме того, технологии уровня 2 создают целый список важных проблем для сетевых операций, которые могут легко вывести из строя всю сеть центра обработки данных, если их не устранить должным образом: петли уровня 2, отсутствие балансировки нагрузки, скорость перестройки spanning tree (STP), широковещательные штормы и т. д. Технологии уровня 3 не подвержены таким проблемам и обычно являются предпочтительным вариантом, когда речь идет о сетевом подключении.

Центры обработки данных нового поколения на базе архитектуры spine-leaf

Центры обработки данных, основанные на архитектуре spine-leaf, существуют уже несколько лет и считаются зрелой и стабильной технологией. Основная концепция этой архитектуры заключается в предсказуемых параметрах сетевого подключения на основе технологий уровня 3, что позволяет избежать многих проблем, возникающих в центрах обработки данных, построенных по «классической» трехуровневой схеме.

Топология «spine-leaf» основана на сетевой архитектуре Клоза (впервые формализованной американским инженером Чарльзом Клозом в 1952 году). В ней есть два основных уровня (хотя некоторые масштабируемые сценарии развились дальше от этого двухслойного стандарта - например, архитектура «super-spine»):

Уровень spine. Обычно состоит как минимум из двух высокопроизводительных коммутаторов уровня 3 (два - для резервирования).

Уровень leaf. Обычно состоит из N многофункциональных коммутаторов 3-го уровня, где N может быть любым числом (обычно четным, также для резервирования, и настолько высоким, насколько это возможно, пока на коммутаторах spine достаточно портов для их подключения).

Главная особенность сетей Клоза и, соответственно, архитектуры «spine-leaf» заключается в том, что все leaf-устройства соединены со всеми spine-коммутаторами, а между самими leaf-устройствами обычно нет прямого соединения (см. рис.3).

Рис. 3.

Неоспоримыми преимуществами сетей spine-leaf являются

Облегчение устранения отказов оборудования за счет его однородности;
Предсказуемая задержка;
Отличая масштабируемость;
Простота автоматизации управления;
Меньшее падение пропускной способности сети при отказе оборудования;
Отсутствие петель, характерных для классических сетей 2 уровня.

Таким образом, переход на новую архитектуру создает спрос на высокоскоростные spine коммутаторы с большим количеством портов, работающих на скорости 100/200/400 GbE. И также, несмотря на неоспоримые преимущества архитектуры, следует заметить, что объем настроек spine-leaf коммутаторов для работы сети (например, для создания нового VLAN), будет больше, чем в традиционной трехуровневой архитектуре. Здесь на первый план выходят средства автоматизации, предлагаемые компанией-производителем сетевого оборудования.

А что нового за пределами дата-центров?

Помимо роста скорости передачи в проводных сетях передачи данных, не стоят на месте и сети беспроводные. Распространение точек доступа стандарта Wi-Fi 6 приводит к тому, что традиционные коммутаторы со скоростью 1 Гбит/сек на порту уже не обеспечивают достаточной пропускной способности сети для работы точки. Вместе с тем подключение точек к 10 Гбит портам пока что представляется слишком дорогим в части стоимости коммутаторов и требовательным к качеству кабельной составляющей сети. Компромиссом стала разработка стандарта IEEE 802.3bz. Используя существующие витые пары CAT5e и CAT6, мультигигабитный Ethernet обеспечивает скорость 2,5 Гбит/с и 5 Гбит/с с поддержкой PoE и спрос на коммутаторы, поддерживающие эту технологию, растет по мере замены устаревающего беспроводного оборудования.

Коротко о лидерах

По данным IDC на сегодняшний день крупнейшими поставщиками коммутаторов для являются американские компании Cisco Systems, Arista Networks, Inc. и китайская Huawei Technologies Co. Ltd. (см. рис.4)

Хотя Arista и Cisco предлагают высокопроизводительные коммутаторы со схожими характеристиками, по отзывам клиентов, использующих их, коммутаторы Arista отличаются более удобным интерфейсом управления, бесшовной автоматизацией и упрощенным лицензированием. Cisco, со своей стороны, делает акцент на обширном выборе оборудования с беспрецедентной универсальностью и возможностями интеграции. Huawei Technologies также не сильно отстает от лидеров, предлагая коммутаторы для сетей любого размера.

Российские разработки

Несмотря на поздний по сравнению с мировыми лидерами старт, отечественные производители также следуют требованиям современного рынка. Так, например, в начале 2024 года компания Fplus выпустила первый российский коммутатор для spine-leaf архитектуры с поддержкой скорости передачи на порту 400 Гбит/сек. Флагманский коммутатор FDS-7532 обладает производительностью коммутирующей матрицы до 25,6 Тбит/c и имеет 32 порта под 400Ge адаптеры формата QSFP. Также портфель сетевых решений компании включает 11 различных моделей коммутаторов, в том числе кампусные решения, устройства в промышленном исполнении и, конечно, коммутаторы для дата-центров с портами от 40 до 400 Гбит.

Также следует отметить продукцию компании Элтекс, с которой мы как интегратор сотрудничаем уже не первый год. Начав производство в 1992 году с разработки первых образцов коммутаторов линейки АК и разработки АССС (Аппаратура Селективной Служебной Связи), на сегодняшний день компания предлагает наиболее полную линейку сетевого оборудования, включающую ethernet коммутаторы, магистральные и офисные маршрутизаторы и беспроводные решения, в том числе мультигигабитные коммутаторы MES2420D-24DP, позволяющие подключать точки доступа на скорости 2,5 Гбит/сек.

Говоря об исчерпывающей линейке сетевого оборудования, хочется отметить и решения компании Qtech, которая одна из немногих отечественных производителей выпускает линейку модульных шассийных коммутаторов ядра QSW-7600 c поддержкой от 3 до 8 сервисных модулей и коммутирующей матрицей производительностью до 12 800 Гбит/с.

Таким образом, отечественные производители следуют за растущими год от года требованиями современных вычислительных систем и хочется надеяться, что темп выпуска новых современных конкурентоспособных устройств будет только нарастать.