eng
Выпуск #2/2025
С.С.Коган
Волоконно-оптические решения для ЦОДов c пакетными интерфейсами на основе Ethernеt Часть 1. Стандартизация решений Ethernet для потоков данных от 100 до 1600 Гбит/с
Волоконно-оптические решения для ЦОДов c пакетными интерфейсами на основе Ethernеt Часть 1. Стандартизация решений Ethernet для потоков данных от 100 до 1600 Гбит/с
Просмотры: 924
DOI: 10.22184/2070-8963.2025.126.2.66.74
Рассматриваются вопросы применения волоконно-оптических решений для поддержки в центрах хранения и обработки данных высоких скоростей передачи.
Рассматриваются вопросы применения волоконно-оптических решений для поддержки в центрах хранения и обработки данных высоких скоростей передачи.
Теги: big language models : data centres machine learning transceivers большие языковые модели машинное обучение трансиверы : центры обработки данных
Волоконно-оптические решения для ЦОДов
c пакетными интерфейсами на основе Ethernеt
Часть 1. Стандартизация решений Ethernet для потоков данных от 100 до 1600 Гбит/с
С.C.Коган, к.т.н., советник генерального директора компании "Т8" по формированию технической стратегии / kogan@t8.ru
УДК 621.391.15, DOI: 10.22184/2070-8963.2025.126.2.66.74
В цикле статей рассматриваются вопросы использования волоконно-оптических решений для поддержки в центрах хранения и обработки данных (ЦОДах) высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков данных от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
Введение
Стремительная цифровизация всех сфер деятельности ведет к росту объемов передаваемого трафика и быстрому развитию ЦОДов. Согласно расчетам института IEEE, с 2017 по 2025 год глобальный IP-трафик увеличился почти в восемь раз, а трафик, связанный с ЦОДами – в 11. Этот прогноз был сделан еще до пандемии, резко повысившей спрос на онлайн-сервисы, поэтому эксперты не сомневаются, что на самом деле рост значительно выше.
За последние 20 лет скорость передачи данных с использованием волоконно-оптической технологии увеличилась в 1000 раз, а энергопотребление на каждый передаваемый бит снизилось в 100 раз. Переход к более высоким скоростям передачи данных – пошаговый процесс. По мере развития приложений и сервисов скорость работы серверов и ЦОДов должна увеличиваться. Поэтому задача развития сетевой инфраструктуры дата-центров для поддержки все более высоких скоростей передачи данных становится чрезвычайно актуальной [1].
Эта тенденция во многом проложила путь для систем ИИ (искусственного интеллекта), вычислений в облачной сетевой инфраструктуре, мобильного Интернета и потокового мультимедиа. Технологии машинного обучения (Machine Leaning – МО/ML) и большие сложные модели искусственного интеллекта (Artificial Intelligence – ИИ/AI) обуславливают рост рабочих нагрузок ЦОДов, расширяют границы облачных сетей и реальной потребности в более совершенных, быстродействующих и эффективных, сменных интерфейсных оптических высокоскоростных приемопередатчиках (трансиверах) [2].
Вычислительные кластеры в ЦОДах нацелены на обработку неструктурированных рабочих нагрузок больших языковых моделей LLM (Large Language Models), которые появились вместе с ИИ ChatGPT. Для этих моделей характерны триллионы параметров, количество которых удваивается каждые несколько месяцев. Повышенный спрос на такие услуги ИИ, как медицинская визуализация или предиктивное обслуживание, еще больше увеличат потребность в пропускной способности сети. У серверов, работающих на ускорителях и графических процессорах ИИ, значительно более высокая потребность в пропускной способности, чем у серверов в традиционной облачной сетевой инфраструктуре.
В ответ на эти тенденции ЦОДы трансформировались из простых серверов, работающих с управляемым объемом данных, в сложные многостоечные системы, которые обрабатывают огромный объем данных. К 2025 году в мире прогнозировалось до 175 зеттабайт данных, передаваемых между ЦОДами в облачной сетевой инфраструктуре [3].
Большая часть данных хранится в ЦОДах и должна обрабатываться вместе, поэтому системе требуется много процессоров, подключенных через сеть с низкой задержкой. Для обработки такой рабочей нагрузки целые кластеры будут действовать как отдельные вычислительные устройства, при этом несколько кластеров вместе будут обрабатывать терабайты данных. Производительность цифровых сигнальных процессоров (ЦСП), используемых для подключений и соединений в ЦОДах, удваивается примерно каждые два-три года.
Стандартизация физического уровня волоконно-оптических транспортных сетей
Ниже представлен список международных организаций, разрабатывающих стандарты для физического уровня волоконно-оптических транспортных сетей.
ITU-T SG15 – оптическая транспортная сеть OTN (Optical Transport Network)
архитектура оптической транспортной сети, цифровые форматы сигналов для сетей OTN, оптические параметры, оптическое волокно, решения МСЭ-T SG15 / OIF / IEEE 802.3 Public для городских (Metro) и магистральных сетей большой протяженности (backbone). Особое внимание уделяется прозрачной передаче данных и сетевым взаимодействиям в конфигурациях, отличающихся от "точка-точка" (non-p2p).
OIF (Optical Interworking Forum)
интерфейсы типа ZR/ZR+, поддерживающие пакетные взаимодействия ЦОДов на уровне сигналов Ethernet (DCI) поверх сетей DWDM в конфигурации "точка-точка" с оптическими каналами (длинами волн) пропускной способностью 400 и 800 Гбит/с.
IEEE 802.3 Ethernet
физический уровень Ethernet для соединений в конфигурации "точка-точка" (p2p),
рекомендации 802.1 по сетевым подключениям Ethernet.
MSA для конкретных проектов
физический уровень OpenROADM, OpenZR+, Ethernet Technology Consortium и т. п.
Преимущества использования в ЦОДах технологии Ethernet на физическом уровне
В середине 1990-х годов Ethernet стал одной из самых распространенных технологий для локальных вычислительных сетей (ЛВС), вытеснив такие устаревшие технологии, как Token Ring, FDDI и ARCNET.
В домашних условиях технология Ethernet используется для соединения настольных компьютеров и ноутбуков с принтерами и маршрутизаторами. В офисе любой компании по технологии Ethernet соединяются компьютеры с серверами и Интернетом. По сути, Ethernet –
это локальная сеть, которая соединяет устройства через физические кабели и передает данные на ограниченное расстояние.
Следует отметить высокие темпы развития технологии Ethernet: от 1 Гбит/с Ethernet в 1997 году до 10 Гбит/с Ethernet в 2004-м, 100 Гбит/с Ethernet в 2010-м, а затем 100 Гбит/с Ethernet с использованием четырех компонентных сигналов (4×25 Гбит/с) в 2014-м.
Еще в 2014 году, когда консорциум 25G Ethernet предложил технологии 25 и 50 Гбит/с Ethernet, был намечен путь перехода на 100 Гбит/с Ethernet и более высокие скорости на основе технологии Ethernet. Для следующего шага до 400 Гбит/с Ethernet потребовалось некоторое время. 6 декабря 2017 года IEEE (Институт инженеров по электротехнике и электронике) официально утвердил свой стандарт 802.3bs для 200 и 400 Гбит/с Ethernet.
Стандарты Ethernet, которыми занимается рабочая группа IEEE 802.3 Ethernet (рис.1), определяют проводные соединения и электрические сигналы на физическом уровне, а также формат кадров и протоколы управления доступом к среде на канальном уровне модели OSI.
К преимуществам технологии Ethernet, используемой в ЦОДах, следует отнести поддержку различных сред передачи, включая оптическое волокно, медные кабели и объединительную плату полки (кросс-плату).
Как показано в табл.1, подготовка стандартов для 400 Гбит/с Ethernet и более высоких скоростей передачи данных производится в IEEE, как обычно, на основе ранее выпущенных стандартов [2, 4].
В настоящее время в ЦОДах широко применяются подключения и соединения на уровне от 100 до 400 Гбит/с (табл.1), а в перспективе будут распространены подключения и соединения пропускной способностью до 800, 1600 и даже 3200 Гбит/с (рис.2). В ближайшей перспективе в ЦОДах будет использоваться дезагрегированная архитектура, где ресурсы для хранения, вычисления и сетевого взаимодействия располагаются в отдельных блоках, связанных волоконно-оптическими соединениями.
Эксперты CommScope [6] рекомендуют целостный подход, при котором коммутаторы, сменные волоконно-оптические приемопередатчики (трансиверы) и волоконно-оптические кабели работают как единая скоординированная инфраструктура передачи данных. Способность сети надежно и эффективно поддерживать новые и будущие приложения будет зависит от того, как все эти компоненты работают вместе.
Для увеличения пропускной способности подключений до 3200 Гбит/с решающее значение будут иметь инновации в области фотонной интеграции, высоких скоростей передачи данных и когерентных оптических технологий. В этом процессе востребованы эффективные по физическим размерам и энергопотреблению сменные интерфейсные модули приемопередатчиков (трансиверов).
Сетевая волоконно-оптическая архитектура должна обеспечить требуемую скорость и масштабируемость передачи данных, быть готовой к переходу на более высокую пропускную способность с эффективной передачей высокоскоростных потоков данных на большие расстояния.
Стандартизация решений по технологии Ethernet
Увеличить плотность портов пакетных коммутаторов ЦОДов можно путем внедрения более высоких скоростей передачи данных и повышения общей эффективности работы сетевой инфраструктуры. В качестве показателя плотности портов ЦОДов используют термин radix ("корень") – число портов определенной скорости, работу которых в ЦОДе способен обеспечить пакетный коммутатор. Чем "толще" корень, то есть выше значение radix, тем меньше требуется коммутаторов для подключения заданного числа серверов. Для повышения производительности самих пакетных коммутаторов разрабатываются специализированные интегральные микросхемы СБИС с расширенными возможностями ввода/вывода. Использование таких микросхем позволяет увеличить количество сетевых подключений на один пакетный коммутатор и уменьшить их число в ЦОДах [3].
Стандартизация решений 200 Гбит/с Ethernet и 400 Гбит/с Ethernet
Ключевыми характеристиками, ограничивающими скорость подключения к сети 400 Гбит/с Ethernet и выше, являются:
достижимая для современных электрических технологий скорость передачи компонентного потока данных, количество компонентных потоков данных и оптических волокон, используемых в клиентских подключениях.
Стандарт 100 Гбит/с Ethernet (IEEE 802.3ba-2010) основан на использовании четырех компонентных потоков по 25 Гбит/с каждый. Это решение для 100 Гбит/с оказалось естественной отправной точкой для разработки решений для 400 Гбит/с Ethernet, в которых необходимо было увеличить скорость передачи данных по каждому компонентному потоку до 50 или даже до 100 Гбит/с. Поскольку для стандарта 400 Гбит/с физической средой передачи стали только многомодовые и одномодовые оптические волокна, то ключевой вопрос – количество волокон в подключении.
Известно, что использование нескольких параллельных волокон для передачи компонентных потоков данных – приемлемое решение для соединений на короткие расстояния до 500 м. Для более длинных кабелей, например, от 2 до 10 км, затраты становятся чрезмерными. Реализация дуплексного (передача и прием) подключения 400 Гбит/с Ethernet с использованием 16 параллельных компонентных потоков 25 Гбит/с потребовала бы 32 волокон на одно подключение.
В 2017 году был принят стандарт IEEE 802.3bs (IEEE Std 802.3bs-2017) для 200 и 400 Гбит/с Ethernet. В нем предусмотрены подключения на уровне 200 и 400 Гбит/с Ethernet с использованием компонентных сигналов 50 Гбит/с. Во всех предыдущих стандартах Ethernet для кодирования двоичного потока данных компонентные сигналы не использовались, а в передаваемом сигнале применялся формат модуляции в виде простого двухуровневого кода NRZ (Non-Return-to-Zero).
В формате модуляции NRZ в сигнале имеется два уровня интенсивности оптического сигнала (напряжения) для передачи каждым символом (уровнем напряжения), соответственно "0" и "1". Для достижения более высокой скорости передачи данных в новом стандарте для каждого компонентного сигнала используется 4-уровневая амплитудно-импульсная модуляция PAM4 (Pulse Amplitude Modulation), которая удваивает объем данных, передаваемых в том же интервале времени (рис.3).
PAM4 – это аббревиатура для системы с амплитудно-импульсной модуляцией, которая использует четыре уровня интенсивности оптического сигнала (напряжения). Стратегия включает изменение модуляции на 2-битную, более продвинутую по сравнению с однобитной NRZ, где каждым символом может передаваться только один бит данных. Для снижения количества битовых ошибок, вызванных шумовой составляющей, в системах PAM4 используется двоичный код Грея.
Формат модуляции PAM4 минимизирует потери сигнала на больших расстояниях и особенно привлекателен для использования в высокоскоростных сменных оптических приемопередатчиках OSFP или QSFP-DD800.
Стандарт 802.3bs (IEEE Std 802.3bs-2017) предусматривает использование для подключения 200 и 400 Гбит/с Ethernet многомодового и одномодового варианта оптического волокна длиной от 70 м до 10 км. Варианты стандартизированных интерфейсов 200 и 400 Гбит/с Ethernet представлены в табл.2.
Интерфейс 400GBASE-SR16 поддерживает 16 многомодовых волокон для компонентных сигналов 25 Гбит/с с форматом модуляции NRZ. Это означает, что общее количество передающих и принимающих волокон в канале составит 32 при дальности связи до 100 м.
Интерфейс 400GBASE-DR4 поддерживает четыре компонентных сигнала по 100 Гбит/с каждый с форматом модуляции PAM4, передаваемых по отдельным волокнам. Так что общее количество передающих и принимающих волокон в канале составит восемь при дальности связи до 500 м.
В интерфейсах 400GBASE-FR8 и 400GBASE-LR8 для передачи восьми компонентных сигналов по 50 Гбит/с каждый с форматом модуляции PAM4 по одномодовому волокну на расстояние до 10 км используется мультиплексирование с разделением по длине волны (WDM).
Интерфейсы 200 Гбит/с Ethernet в основном аналогичны спецификациям для 400 Гбит/с, но используют четыре компонентных сигнала по 50 Гбит/с каждый с форматом модуляции PAM4, с передачей их по одной или четырем парам одномодовых волокон.
Для интерфейсов 400GBASE-SR16 требуются 32-волоконные разъемы и кабели, а для интерфейсов 400GBASE-DR4 – 8-волоконные. Эти восемь волокон для передачи и приема поддерживаются 12-волоконными разъемами MPO (Multi-Fiber Push-on) и кабелями, которые в настоящее время используются для подключений 100 Гбит/с Ethernet. Таким образом, в стандарте 802.3b поддерживать варианты 400GBASE-DR4 и 200GBASE-DR4 будут 12-волоконные разъемы и кабели MPO.
32-волоконный разъем MPO рассматривается как новая разработка, выполненная специально для стандарта Ethernet 400 Гбит/с. В 12-волоконном разъеме MPO оптические волокна располагаются между двумя выравнивающими штифтами в один ряд. Для 32-волоконного разъема MPO предусмотрено два ряда по 16 волокон, поэтому новый разъем несовместим с 12-волоконным разъемом MPO. Чтобы избежать неправильного подключения трансиверов и кабелей, 32-волоконный разъем MPO имеет ключ, отличный от 12-волоконного разъема MPO (рис.4).
Для подключений 400 Гбит/с Ethernet доступны следующие конструктивные исполнения оптических модулей приемопередатчиков:
Стандартизация решений 800G и 1600G Ethernet [7, 8]
Стандартизация интерфейсов для 800 Гбит/с Ethernet выполняется следующими организациями:
IEEE 802.3 800G Ethernet
800G PMD дальностью до 2 км с использованием компонентных сигналов 100G и прямого обнаружения IMDD (Intensity Modulation Direct Detection, P802.3df), применение решений PMD из 802.3ck и 802.3cu,
800G PMD дальностью до 10 км с использованием одноволоконных и многоволоконных решений, компонентных сигналов 200G и прямого обнаружения IMDD (P802.3dj),
800G когерентные PMD дальностью 10 и 40 км (P802.3dj).
Когерентные интерфейсы OIF 800G
800LR (не DWDM) с небольшой задержкой, более простым FEC и дальностью связи, достаточной для корпоративных сетей,
800ZR (DWDM) с функциями, аналогичными 400ZR, для DCI в конфигурации "точка-точка" и дальностью связи до 120 км.
Организация Ethernet Technology Consortium (новое название консорциума 25G Ethernet) опубликовала технические требования рабочей группы IEEE 802.3ck для стандарта 800 Gigabit Ethernet (800GbE). В этих требованиях инициативная группа, созданная компаниями Arista, Broadcom, Google, Mellanox и Microsoft, предложила для стандарта 800GbE использовать два отдельных подключения 400G c восемью компонентными потоками 100 Гбит/с и с объединением их на втором уровне OSI модели.
За стандартизацию интерфейсов для потоков данных 1600 Гбит/с Ethernet отвечают следующие организации:
IEEE 802.3 1.6T Ethernet
многоволоконные PMD дальностью связи до 2 км на основе прямого обнаружения IMDD с компонентными потоками 200 Гбит/с по нескольким одномодовым волокнам (P802.3dj),
возможность добавления в ЦОДах (в последующих проектах) новых интерфейсов 1,6 Тбит/с с большей дальностью передачи по одному волокну.
Проект OIF 1600ZR
интерфейс 1600ZR аналогичен 800ZR, ориентирован на использование менее скоростных компонентных сигналов на сетях взаимодействия ЦОДов в сетевых конфигурациях типа "точка-точка".
SG15 МСЭ-Т
обсуждение форматов OTN для соединений со скоростью передачи данных более 800 Гбит/с.
Энергопотребление сменных модулей 1600G предполагается (в перспективе) в пределах 26–30 Вт. Остальные параметры в стадии изучения.
Подуровень PMD (Physical Medium Dependent) связан с синхронизацией битов, кодированием сигналов, взаимодействием с физической средой и свойствами самого кабеля, в котором использовано оптическое волокно или медные провода. Этот подуровень доопределяет физический уровень протоколов компьютерных сетей в части, касающейся деталей передачи и приема отдельных битов в физической среде. Параметр PMD указывается в технических требованиях для Ethernet, определенных IEEE.
Сертификационный орган IEEE инициировал создание исследовательской группы B400 (Beyond 400G) для изучения перехода на скорости, более высокие, чем 400 Гбит/с Ethernet. Исследователями IEEE 802.3 Beyond 400G в 2021 году была сформирована рабочая группа IEEE 802.3df, нацеленная на составление технических требований к 800 и 1600 Гбит/с Ethernet с учетом ранее принятых технических требований (спецификаций) для 200 и 400 Гбит/с Ethernet. Приоритетом для группы IEEE P802.3df является базовая архитектура для реализации всех этих решений. Рабочая группа IEEE P802.3df в январе 2022 года приступила к стандартизации 800 и 1600 Гбит/с Ethernet.
В ноябре 2022 года цели проекта IEEE 802.3df были разделены, при этом работа по подключению 1600 Гбит/с и компонентным сигналам 200 Гбит/с была перенесена в новый проект IEEE 802.3dj. Сроки завершения проекта 802.3dj – июль 2026 года.
Для рабочей группы IEEE 802.3df сформулированы задачи по трем основным технологическим направлениям (табл.3):
1. 800GbE: уточнение характеристик 800/1600GbE MAC, PCS, FEC и таких интерфейсов, как 800-KR/CR, 800G-SR8 (100 м), 800G-DR8 (500 м), 800G-FR8 (2 км), 800G-LR/LR8 (10 км) и 800G-ER/ER8 (40 км).
2. 800GbE: определение новых оптических компонентных сигналов пропускной способностью 200 Гбит/с для таких высокоскоростных клиентских Ethernet-интерфейсов, как 800G-DR4 (500 м), 800G-FR4 (2 км) и 800G-LR4 (10 км).
3. 200GbE, 800GbE и 1600GbE: определение новых оптических компонентных сигналов пропускной способностью 200 Гбит/с для таких интерфейсов, как 800G-ZR (80 км), 1600G-DR8 (500 м) и 1600G-FR8 (2 км).
Задачи рабочей группы IEEE P802.3df можно структурировать по четырем основным направлениям:
К актуальным вопросам стандартизации оптических решений 1600 Гбит/с следует отнести следующие.
Литература
Advances in Beyond 400G Optical Transport Network Standards and Technologies. [Электронный ресурс]. URL: https://docbox.etsi.org/ISG/F5G/Open/F5G%20External%20Presentations%202023/ECOC%202023/6.%20ECOC2023%20-%20F5G%20Workshop%20Nokia%20(Huber).pdf (дата обращения 24.03.2025).
От 100G к 800G. Будь готов! [Электронный ресурс]. URL: https://www.iksmedia.ru/articles/5862559-Ot-100G-k-800G-Bud-gotov.html) (дата обращения 24.03.2025).
O-Band Coherent: An Idea Whose Time Is (Nearly) Here. [Электронный ресурс]. URL: https://www.marvell.com/blogs/o-band-coherent-a-idea-whose-time-is-nearly-here.html (дата обращения 24.03.2025).
The Evolution of Ethernet Standard. [Электронный ресурс]. URL: https://www.edge-core.com/solution-inquiry.php?cls=6&id=52 (дата обращения 24.03.2025).
From 100G to 1.6T Navigating Timing in the New Era of High-Speed Optical Networks. [Электронный ресурс]. URL: https://cache.webcasts.com/content/penn001/1657525/content/568373e2f427e0f7a5f4dff6d049c432eb057149/pdf/Epson-Lightwave_webinar.pdf (дата обращения 24.03.2025).
Get to know us. [Электронный ресурс]. URL: https://www.commscope.com/about-us/ (дата обращения 24.03.2025).
Стандарт ETC 800 GbE и новые стандарты IEEE 802.3 800/1600 GbE. [Электронный ресурс]. URL: https://www.edge-core.com/blogs/towards-800g-and-1600g-ethernet/ (дата обращения 24.03.2025).
Ethernet Technology Consortium. 800G specification. [Электронный ресурс]. URL: https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf (дата обращения 24.03.2025).
Marvell Introduces 1.6 Tbps LPO Chipset to Enable Optical Short-reach, Scale-up Compute Fabric Interconnects. [Электронный ресурс]. URL: https://www.marvell.com/company/newsroom/marvell-introduces-1-6-tbps-lpo-chipset.html (дата обращения 24.03.2025).
c пакетными интерфейсами на основе Ethernеt
Часть 1. Стандартизация решений Ethernet для потоков данных от 100 до 1600 Гбит/с
С.C.Коган, к.т.н., советник генерального директора компании "Т8" по формированию технической стратегии / kogan@t8.ru
УДК 621.391.15, DOI: 10.22184/2070-8963.2025.126.2.66.74
В цикле статей рассматриваются вопросы использования волоконно-оптических решений для поддержки в центрах хранения и обработки данных (ЦОДах) высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков данных от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
Введение
Стремительная цифровизация всех сфер деятельности ведет к росту объемов передаваемого трафика и быстрому развитию ЦОДов. Согласно расчетам института IEEE, с 2017 по 2025 год глобальный IP-трафик увеличился почти в восемь раз, а трафик, связанный с ЦОДами – в 11. Этот прогноз был сделан еще до пандемии, резко повысившей спрос на онлайн-сервисы, поэтому эксперты не сомневаются, что на самом деле рост значительно выше.
За последние 20 лет скорость передачи данных с использованием волоконно-оптической технологии увеличилась в 1000 раз, а энергопотребление на каждый передаваемый бит снизилось в 100 раз. Переход к более высоким скоростям передачи данных – пошаговый процесс. По мере развития приложений и сервисов скорость работы серверов и ЦОДов должна увеличиваться. Поэтому задача развития сетевой инфраструктуры дата-центров для поддержки все более высоких скоростей передачи данных становится чрезвычайно актуальной [1].
Эта тенденция во многом проложила путь для систем ИИ (искусственного интеллекта), вычислений в облачной сетевой инфраструктуре, мобильного Интернета и потокового мультимедиа. Технологии машинного обучения (Machine Leaning – МО/ML) и большие сложные модели искусственного интеллекта (Artificial Intelligence – ИИ/AI) обуславливают рост рабочих нагрузок ЦОДов, расширяют границы облачных сетей и реальной потребности в более совершенных, быстродействующих и эффективных, сменных интерфейсных оптических высокоскоростных приемопередатчиках (трансиверах) [2].
Вычислительные кластеры в ЦОДах нацелены на обработку неструктурированных рабочих нагрузок больших языковых моделей LLM (Large Language Models), которые появились вместе с ИИ ChatGPT. Для этих моделей характерны триллионы параметров, количество которых удваивается каждые несколько месяцев. Повышенный спрос на такие услуги ИИ, как медицинская визуализация или предиктивное обслуживание, еще больше увеличат потребность в пропускной способности сети. У серверов, работающих на ускорителях и графических процессорах ИИ, значительно более высокая потребность в пропускной способности, чем у серверов в традиционной облачной сетевой инфраструктуре.
В ответ на эти тенденции ЦОДы трансформировались из простых серверов, работающих с управляемым объемом данных, в сложные многостоечные системы, которые обрабатывают огромный объем данных. К 2025 году в мире прогнозировалось до 175 зеттабайт данных, передаваемых между ЦОДами в облачной сетевой инфраструктуре [3].
Большая часть данных хранится в ЦОДах и должна обрабатываться вместе, поэтому системе требуется много процессоров, подключенных через сеть с низкой задержкой. Для обработки такой рабочей нагрузки целые кластеры будут действовать как отдельные вычислительные устройства, при этом несколько кластеров вместе будут обрабатывать терабайты данных. Производительность цифровых сигнальных процессоров (ЦСП), используемых для подключений и соединений в ЦОДах, удваивается примерно каждые два-три года.
Стандартизация физического уровня волоконно-оптических транспортных сетей
Ниже представлен список международных организаций, разрабатывающих стандарты для физического уровня волоконно-оптических транспортных сетей.
ITU-T SG15 – оптическая транспортная сеть OTN (Optical Transport Network)
архитектура оптической транспортной сети, цифровые форматы сигналов для сетей OTN, оптические параметры, оптическое волокно, решения МСЭ-T SG15 / OIF / IEEE 802.3 Public для городских (Metro) и магистральных сетей большой протяженности (backbone). Особое внимание уделяется прозрачной передаче данных и сетевым взаимодействиям в конфигурациях, отличающихся от "точка-точка" (non-p2p).
OIF (Optical Interworking Forum)
интерфейсы типа ZR/ZR+, поддерживающие пакетные взаимодействия ЦОДов на уровне сигналов Ethernet (DCI) поверх сетей DWDM в конфигурации "точка-точка" с оптическими каналами (длинами волн) пропускной способностью 400 и 800 Гбит/с.
IEEE 802.3 Ethernet
физический уровень Ethernet для соединений в конфигурации "точка-точка" (p2p),
рекомендации 802.1 по сетевым подключениям Ethernet.
MSA для конкретных проектов
физический уровень OpenROADM, OpenZR+, Ethernet Technology Consortium и т. п.
Преимущества использования в ЦОДах технологии Ethernet на физическом уровне
В середине 1990-х годов Ethernet стал одной из самых распространенных технологий для локальных вычислительных сетей (ЛВС), вытеснив такие устаревшие технологии, как Token Ring, FDDI и ARCNET.
В домашних условиях технология Ethernet используется для соединения настольных компьютеров и ноутбуков с принтерами и маршрутизаторами. В офисе любой компании по технологии Ethernet соединяются компьютеры с серверами и Интернетом. По сути, Ethernet –
это локальная сеть, которая соединяет устройства через физические кабели и передает данные на ограниченное расстояние.
Следует отметить высокие темпы развития технологии Ethernet: от 1 Гбит/с Ethernet в 1997 году до 10 Гбит/с Ethernet в 2004-м, 100 Гбит/с Ethernet в 2010-м, а затем 100 Гбит/с Ethernet с использованием четырех компонентных сигналов (4×25 Гбит/с) в 2014-м.
Еще в 2014 году, когда консорциум 25G Ethernet предложил технологии 25 и 50 Гбит/с Ethernet, был намечен путь перехода на 100 Гбит/с Ethernet и более высокие скорости на основе технологии Ethernet. Для следующего шага до 400 Гбит/с Ethernet потребовалось некоторое время. 6 декабря 2017 года IEEE (Институт инженеров по электротехнике и электронике) официально утвердил свой стандарт 802.3bs для 200 и 400 Гбит/с Ethernet.
Стандарты Ethernet, которыми занимается рабочая группа IEEE 802.3 Ethernet (рис.1), определяют проводные соединения и электрические сигналы на физическом уровне, а также формат кадров и протоколы управления доступом к среде на канальном уровне модели OSI.
К преимуществам технологии Ethernet, используемой в ЦОДах, следует отнести поддержку различных сред передачи, включая оптическое волокно, медные кабели и объединительную плату полки (кросс-плату).
Как показано в табл.1, подготовка стандартов для 400 Гбит/с Ethernet и более высоких скоростей передачи данных производится в IEEE, как обычно, на основе ранее выпущенных стандартов [2, 4].
В настоящее время в ЦОДах широко применяются подключения и соединения на уровне от 100 до 400 Гбит/с (табл.1), а в перспективе будут распространены подключения и соединения пропускной способностью до 800, 1600 и даже 3200 Гбит/с (рис.2). В ближайшей перспективе в ЦОДах будет использоваться дезагрегированная архитектура, где ресурсы для хранения, вычисления и сетевого взаимодействия располагаются в отдельных блоках, связанных волоконно-оптическими соединениями.
Эксперты CommScope [6] рекомендуют целостный подход, при котором коммутаторы, сменные волоконно-оптические приемопередатчики (трансиверы) и волоконно-оптические кабели работают как единая скоординированная инфраструктура передачи данных. Способность сети надежно и эффективно поддерживать новые и будущие приложения будет зависит от того, как все эти компоненты работают вместе.
Для увеличения пропускной способности подключений до 3200 Гбит/с решающее значение будут иметь инновации в области фотонной интеграции, высоких скоростей передачи данных и когерентных оптических технологий. В этом процессе востребованы эффективные по физическим размерам и энергопотреблению сменные интерфейсные модули приемопередатчиков (трансиверов).
Сетевая волоконно-оптическая архитектура должна обеспечить требуемую скорость и масштабируемость передачи данных, быть готовой к переходу на более высокую пропускную способность с эффективной передачей высокоскоростных потоков данных на большие расстояния.
Стандартизация решений по технологии Ethernet
Увеличить плотность портов пакетных коммутаторов ЦОДов можно путем внедрения более высоких скоростей передачи данных и повышения общей эффективности работы сетевой инфраструктуры. В качестве показателя плотности портов ЦОДов используют термин radix ("корень") – число портов определенной скорости, работу которых в ЦОДе способен обеспечить пакетный коммутатор. Чем "толще" корень, то есть выше значение radix, тем меньше требуется коммутаторов для подключения заданного числа серверов. Для повышения производительности самих пакетных коммутаторов разрабатываются специализированные интегральные микросхемы СБИС с расширенными возможностями ввода/вывода. Использование таких микросхем позволяет увеличить количество сетевых подключений на один пакетный коммутатор и уменьшить их число в ЦОДах [3].
Стандартизация решений 200 Гбит/с Ethernet и 400 Гбит/с Ethernet
Ключевыми характеристиками, ограничивающими скорость подключения к сети 400 Гбит/с Ethernet и выше, являются:
достижимая для современных электрических технологий скорость передачи компонентного потока данных, количество компонентных потоков данных и оптических волокон, используемых в клиентских подключениях.
Стандарт 100 Гбит/с Ethernet (IEEE 802.3ba-2010) основан на использовании четырех компонентных потоков по 25 Гбит/с каждый. Это решение для 100 Гбит/с оказалось естественной отправной точкой для разработки решений для 400 Гбит/с Ethernet, в которых необходимо было увеличить скорость передачи данных по каждому компонентному потоку до 50 или даже до 100 Гбит/с. Поскольку для стандарта 400 Гбит/с физической средой передачи стали только многомодовые и одномодовые оптические волокна, то ключевой вопрос – количество волокон в подключении.
Известно, что использование нескольких параллельных волокон для передачи компонентных потоков данных – приемлемое решение для соединений на короткие расстояния до 500 м. Для более длинных кабелей, например, от 2 до 10 км, затраты становятся чрезмерными. Реализация дуплексного (передача и прием) подключения 400 Гбит/с Ethernet с использованием 16 параллельных компонентных потоков 25 Гбит/с потребовала бы 32 волокон на одно подключение.
В 2017 году был принят стандарт IEEE 802.3bs (IEEE Std 802.3bs-2017) для 200 и 400 Гбит/с Ethernet. В нем предусмотрены подключения на уровне 200 и 400 Гбит/с Ethernet с использованием компонентных сигналов 50 Гбит/с. Во всех предыдущих стандартах Ethernet для кодирования двоичного потока данных компонентные сигналы не использовались, а в передаваемом сигнале применялся формат модуляции в виде простого двухуровневого кода NRZ (Non-Return-to-Zero).
В формате модуляции NRZ в сигнале имеется два уровня интенсивности оптического сигнала (напряжения) для передачи каждым символом (уровнем напряжения), соответственно "0" и "1". Для достижения более высокой скорости передачи данных в новом стандарте для каждого компонентного сигнала используется 4-уровневая амплитудно-импульсная модуляция PAM4 (Pulse Amplitude Modulation), которая удваивает объем данных, передаваемых в том же интервале времени (рис.3).
PAM4 – это аббревиатура для системы с амплитудно-импульсной модуляцией, которая использует четыре уровня интенсивности оптического сигнала (напряжения). Стратегия включает изменение модуляции на 2-битную, более продвинутую по сравнению с однобитной NRZ, где каждым символом может передаваться только один бит данных. Для снижения количества битовых ошибок, вызванных шумовой составляющей, в системах PAM4 используется двоичный код Грея.
Формат модуляции PAM4 минимизирует потери сигнала на больших расстояниях и особенно привлекателен для использования в высокоскоростных сменных оптических приемопередатчиках OSFP или QSFP-DD800.
Стандарт 802.3bs (IEEE Std 802.3bs-2017) предусматривает использование для подключения 200 и 400 Гбит/с Ethernet многомодового и одномодового варианта оптического волокна длиной от 70 м до 10 км. Варианты стандартизированных интерфейсов 200 и 400 Гбит/с Ethernet представлены в табл.2.
Интерфейс 400GBASE-SR16 поддерживает 16 многомодовых волокон для компонентных сигналов 25 Гбит/с с форматом модуляции NRZ. Это означает, что общее количество передающих и принимающих волокон в канале составит 32 при дальности связи до 100 м.
Интерфейс 400GBASE-DR4 поддерживает четыре компонентных сигнала по 100 Гбит/с каждый с форматом модуляции PAM4, передаваемых по отдельным волокнам. Так что общее количество передающих и принимающих волокон в канале составит восемь при дальности связи до 500 м.
В интерфейсах 400GBASE-FR8 и 400GBASE-LR8 для передачи восьми компонентных сигналов по 50 Гбит/с каждый с форматом модуляции PAM4 по одномодовому волокну на расстояние до 10 км используется мультиплексирование с разделением по длине волны (WDM).
Интерфейсы 200 Гбит/с Ethernet в основном аналогичны спецификациям для 400 Гбит/с, но используют четыре компонентных сигнала по 50 Гбит/с каждый с форматом модуляции PAM4, с передачей их по одной или четырем парам одномодовых волокон.
Для интерфейсов 400GBASE-SR16 требуются 32-волоконные разъемы и кабели, а для интерфейсов 400GBASE-DR4 – 8-волоконные. Эти восемь волокон для передачи и приема поддерживаются 12-волоконными разъемами MPO (Multi-Fiber Push-on) и кабелями, которые в настоящее время используются для подключений 100 Гбит/с Ethernet. Таким образом, в стандарте 802.3b поддерживать варианты 400GBASE-DR4 и 200GBASE-DR4 будут 12-волоконные разъемы и кабели MPO.
32-волоконный разъем MPO рассматривается как новая разработка, выполненная специально для стандарта Ethernet 400 Гбит/с. В 12-волоконном разъеме MPO оптические волокна располагаются между двумя выравнивающими штифтами в один ряд. Для 32-волоконного разъема MPO предусмотрено два ряда по 16 волокон, поэтому новый разъем несовместим с 12-волоконным разъемом MPO. Чтобы избежать неправильного подключения трансиверов и кабелей, 32-волоконный разъем MPO имеет ключ, отличный от 12-волоконного разъема MPO (рис.4).
Для подключений 400 Гбит/с Ethernet доступны следующие конструктивные исполнения оптических модулей приемопередатчиков:
- CFP8: отличается большими конструктивными размерами, низкой плотностью портов и улучшенным температурным режимом.
- OSFP: отличается высокими характеристиками и улучшенным температурным режимом. По конструктивному исполнению несовместим с другими решениями для сменных оптических модулей приемопередатчиков.
- QSFP-DD: это модуль QSFP с двойной плотностью портов. Совместим с другими решениями для сменных оптических модулей приемопередатчиков, используемых для подключений уровня 40 и 100 Гбит/с Ethernet.
- COBO – встроенный оптический модуль, который не является сменным приемопередатчиком, но обеспечивает самую высокую плотность портов.
Стандартизация решений 800G и 1600G Ethernet [7, 8]
Стандартизация интерфейсов для 800 Гбит/с Ethernet выполняется следующими организациями:
IEEE 802.3 800G Ethernet
800G PMD дальностью до 2 км с использованием компонентных сигналов 100G и прямого обнаружения IMDD (Intensity Modulation Direct Detection, P802.3df), применение решений PMD из 802.3ck и 802.3cu,
800G PMD дальностью до 10 км с использованием одноволоконных и многоволоконных решений, компонентных сигналов 200G и прямого обнаружения IMDD (P802.3dj),
800G когерентные PMD дальностью 10 и 40 км (P802.3dj).
Когерентные интерфейсы OIF 800G
800LR (не DWDM) с небольшой задержкой, более простым FEC и дальностью связи, достаточной для корпоративных сетей,
800ZR (DWDM) с функциями, аналогичными 400ZR, для DCI в конфигурации "точка-точка" и дальностью связи до 120 км.
Организация Ethernet Technology Consortium (новое название консорциума 25G Ethernet) опубликовала технические требования рабочей группы IEEE 802.3ck для стандарта 800 Gigabit Ethernet (800GbE). В этих требованиях инициативная группа, созданная компаниями Arista, Broadcom, Google, Mellanox и Microsoft, предложила для стандарта 800GbE использовать два отдельных подключения 400G c восемью компонентными потоками 100 Гбит/с и с объединением их на втором уровне OSI модели.
За стандартизацию интерфейсов для потоков данных 1600 Гбит/с Ethernet отвечают следующие организации:
IEEE 802.3 1.6T Ethernet
многоволоконные PMD дальностью связи до 2 км на основе прямого обнаружения IMDD с компонентными потоками 200 Гбит/с по нескольким одномодовым волокнам (P802.3dj),
возможность добавления в ЦОДах (в последующих проектах) новых интерфейсов 1,6 Тбит/с с большей дальностью передачи по одному волокну.
Проект OIF 1600ZR
интерфейс 1600ZR аналогичен 800ZR, ориентирован на использование менее скоростных компонентных сигналов на сетях взаимодействия ЦОДов в сетевых конфигурациях типа "точка-точка".
SG15 МСЭ-Т
обсуждение форматов OTN для соединений со скоростью передачи данных более 800 Гбит/с.
Энергопотребление сменных модулей 1600G предполагается (в перспективе) в пределах 26–30 Вт. Остальные параметры в стадии изучения.
Подуровень PMD (Physical Medium Dependent) связан с синхронизацией битов, кодированием сигналов, взаимодействием с физической средой и свойствами самого кабеля, в котором использовано оптическое волокно или медные провода. Этот подуровень доопределяет физический уровень протоколов компьютерных сетей в части, касающейся деталей передачи и приема отдельных битов в физической среде. Параметр PMD указывается в технических требованиях для Ethernet, определенных IEEE.
Сертификационный орган IEEE инициировал создание исследовательской группы B400 (Beyond 400G) для изучения перехода на скорости, более высокие, чем 400 Гбит/с Ethernet. Исследователями IEEE 802.3 Beyond 400G в 2021 году была сформирована рабочая группа IEEE 802.3df, нацеленная на составление технических требований к 800 и 1600 Гбит/с Ethernet с учетом ранее принятых технических требований (спецификаций) для 200 и 400 Гбит/с Ethernet. Приоритетом для группы IEEE P802.3df является базовая архитектура для реализации всех этих решений. Рабочая группа IEEE P802.3df в январе 2022 года приступила к стандартизации 800 и 1600 Гбит/с Ethernet.
В ноябре 2022 года цели проекта IEEE 802.3df были разделены, при этом работа по подключению 1600 Гбит/с и компонентным сигналам 200 Гбит/с была перенесена в новый проект IEEE 802.3dj. Сроки завершения проекта 802.3dj – июль 2026 года.
Для рабочей группы IEEE 802.3df сформулированы задачи по трем основным технологическим направлениям (табл.3):
1. 800GbE: уточнение характеристик 800/1600GbE MAC, PCS, FEC и таких интерфейсов, как 800-KR/CR, 800G-SR8 (100 м), 800G-DR8 (500 м), 800G-FR8 (2 км), 800G-LR/LR8 (10 км) и 800G-ER/ER8 (40 км).
2. 800GbE: определение новых оптических компонентных сигналов пропускной способностью 200 Гбит/с для таких высокоскоростных клиентских Ethernet-интерфейсов, как 800G-DR4 (500 м), 800G-FR4 (2 км) и 800G-LR4 (10 км).
3. 200GbE, 800GbE и 1600GbE: определение новых оптических компонентных сигналов пропускной способностью 200 Гбит/с для таких интерфейсов, как 800G-ZR (80 км), 1600G-DR8 (500 м) и 1600G-FR8 (2 км).
Задачи рабочей группы IEEE P802.3df можно структурировать по четырем основным направлениям:
- Первое направление связано с целями, которые для Ethernet 200, 400, 800 и 1600 Гбит/с (1,6 Тбит/с) показаны в табл.3 оранжевым цветом: компонентные сигналы предполагается передавать со скоростью 100 Гбит/с. Это относится к электрическим интерфейсам или интерфейсам подключаемых устройств AUI (Attachment Unit Interfaces), объединительным платам (backplanes), сдвоенным медным коаксиальным кабелям (copper twin-axial cables), многомодовому волокну (multi-mode fiber) и кабелю с параллельными одномодовыми волокнами (parallel single-mode fiber). Ожидается, что в этих решениях будут использованы технические требования, определенные существующими стандартами или стандартами, находящимися в разработке в рамках IEEE 802.3, включая IEEE Std 802.3cutm-2021, IEEE P802.3ck и IEEE P802.3db Task Forces. В перспективном стандарте ETC 800 GbE PCS/FEC для 1600 Гбит/с Ethernet предусматриваются 16 компонентных сигналов пропускной способностью 100 Гбит/с каждый.
- Второе направление связано с целями, которые для Ethernet 200, 400, 800 Гбит/с и 1,6 Тбит/с показаны в табл.3 фиолетовым цветом: компонентные сигналы предполагается передавать со скоростью 200 Гбит/с.
- Третье направление связано с целями, которые для Ethernet 200, 400, 800 и 1600 Гбит/с показаны в табл.3 зеленым цветом: компонентные сигналы предполагается передавать со скоростью 200 Гбит/с по отдельным оптическим волокнам или по единому оптическому волокну на длинах волн по технологии WDM. Имеется в виду использование одного, двух, четырех и восьми волокон в каждом направлении при дальности связи до 500 м и 2 км для всех указанных скоростей, а также применение решения WDM для 800 Гбит/с Ethernet с использованием четырех длин волн при дальности до 2 км;
- Четвертое направление связано с целями, которые для Ethernet 800 Гбит/с показаны в табл.3 синим цветом, а именно с дуплексными одномодовыми волоконными соединениями дальностью 10 и 40 км. Пока неясно, какое решение будет выбрано в этом случае: с прямым обнаружением оптического сигнала IMDD или когерентным обнаружением.
К актуальным вопросам стандартизации оптических решений 1600 Гбит/с следует отнести следующие.
- Будет ли потребность в когерентных решениях для любой дальности связи?
Необходимо исследовать возможность применения прямого обнаружения IMDD для соединений с использованием компонентных сигналов пропускной способностью выше 200 Гбит/с, необходимо исследовать возможность использования более четырех длин волн CWDM при скорости передачи компонентных сигналов выше 200 Гбит/с.
- Насколько перспективно решение передачи данных на одной несущей с форматом модуляции 16QAM?
Использование нескольких несущих или большей символьной скорости передачи приведет к расширению спектра частот для передач данных, переход к модуляции более высокого порядка усложнит решение.
- Нужна ли более высокая эффективность кода с исправлением ошибок FEC?
Процесс разработки стандартов в IEEE занимает обычно около пяти лет, так что технические требования на 800 и 1600GbE следует ожидать от этой организации после 2025 года. Вопросы использования в интерфейсах 800 и 1600 GbE оптических компонентных сигналов пропускной способностью 200 Гбит/с будут рассмотрены в проектах IEEE 2025–2026 годов.
Между тем компания Marvel в 2024 году выпустила первый в мире оптический сменный модуль приемопередатчика для соединений пропускной способностью 1600 Гбит/с и дальностью связи до 10 км. В этом модуле используются оптические и электрические компонентные сигналы ввода-вывода 200 Гбит/с с форматом модуляции PAM4, а также ЦСП [9].
Литература
Advances in Beyond 400G Optical Transport Network Standards and Technologies. [Электронный ресурс]. URL: https://docbox.etsi.org/ISG/F5G/Open/F5G%20External%20Presentations%202023/ECOC%202023/6.%20ECOC2023%20-%20F5G%20Workshop%20Nokia%20(Huber).pdf (дата обращения 24.03.2025).
От 100G к 800G. Будь готов! [Электронный ресурс]. URL: https://www.iksmedia.ru/articles/5862559-Ot-100G-k-800G-Bud-gotov.html) (дата обращения 24.03.2025).
O-Band Coherent: An Idea Whose Time Is (Nearly) Here. [Электронный ресурс]. URL: https://www.marvell.com/blogs/o-band-coherent-a-idea-whose-time-is-nearly-here.html (дата обращения 24.03.2025).
The Evolution of Ethernet Standard. [Электронный ресурс]. URL: https://www.edge-core.com/solution-inquiry.php?cls=6&id=52 (дата обращения 24.03.2025).
From 100G to 1.6T Navigating Timing in the New Era of High-Speed Optical Networks. [Электронный ресурс]. URL: https://cache.webcasts.com/content/penn001/1657525/content/568373e2f427e0f7a5f4dff6d049c432eb057149/pdf/Epson-Lightwave_webinar.pdf (дата обращения 24.03.2025).
Get to know us. [Электронный ресурс]. URL: https://www.commscope.com/about-us/ (дата обращения 24.03.2025).
Стандарт ETC 800 GbE и новые стандарты IEEE 802.3 800/1600 GbE. [Электронный ресурс]. URL: https://www.edge-core.com/blogs/towards-800g-and-1600g-ethernet/ (дата обращения 24.03.2025).
Ethernet Technology Consortium. 800G specification. [Электронный ресурс]. URL: https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf (дата обращения 24.03.2025).
Marvell Introduces 1.6 Tbps LPO Chipset to Enable Optical Short-reach, Scale-up Compute Fabric Interconnects. [Электронный ресурс]. URL: https://www.marvell.com/company/newsroom/marvell-introduces-1-6-tbps-lpo-chipset.html (дата обращения 24.03.2025).
Отзывы читателей
