eng
Выпуск #3/2025
С.С.Коган
Волоконно-оптические решения для ЦОДов c пакетными интерфейсами на основе Ethernеt. Часть 2. Решения с использованием волоконно-оптических технологий
Волоконно-оптические решения для ЦОДов c пакетными интерфейсами на основе Ethernеt. Часть 2. Решения с использованием волоконно-оптических технологий
Просмотры: 907
DOI: 10.22184/2070-8963.2025.127.3.70.76
В цикле статей рассматриваются вопросы применения волоконно-оптических решений для поддержки в центрах хранения и обработки данных высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
В цикле статей рассматриваются вопросы применения волоконно-оптических решений для поддержки в центрах хранения и обработки данных высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
Теги: coherent detection technologies data centres laser diode mach-zehnder interferometer mef standards интерферометр маха-цендера лазерный диод стандарты mef технологии когерентного обнаружения центры обработки данных
Волоконно-оптические решения для ЦОДов
c пакетными интерфейсами на основе Ethernеt
Часть 2. Решения с использованием волоконно-оптических технологий
С.C.Коган, к.т.н., советник генерального директора компании "Т8" по формированию технической стратегии / kogan@t8.ru
УДК 621.391.15, DOI: 10.22184/2070-8963.2025.127.3.70.76
В цикле статей рассматриваются вопросы использования волоконно-оптических решений для поддержки в центрах хранения и обработки данных (ЦОДах) высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков данных от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
Роль волоконно-оптических технологий в увеличении пропускной способности подключений и соединений в ЦОДах
Развитие волоконно-оптических технологий для подключений и соединений ЦОДов обусловлено необходимостью сбалансировать показатели затрат, энергоэффективности, пропускной способности, дальности связи и плотности установки интерфейсов в узлах сети [10].
Рост пропускной способности подключений и соединений в ЦОДах был достигнут прежде всего за счет следующих трех ключевых технических направлений:
Повышение скорости передачи данных с 10 до 800 Гбит/с при увеличении символьной скорости с 10 до 50–100 ГБод и выше.
Оптимизация форматов модуляции с переходом от RZ/NRZ к формату модуляции PAM4 и повышением спектральной эффективности передачи данных.
Увеличение количества и пропускной способности параллельных компонентных каналов с использованием технологий мультиплексирования с разделением по длине волны оптического излучения WDM (Wavelength Division Multiplexing), а в перспективе и пространственного мультиплексирования SDM (Spatial/Spase Division multiplexing).
Ожидается, что в будущем пропускная способность подключений в ЦОДах достигнет 3,2 Тбит/с за счет увеличения скорости передачи данных по одному компонентному каналу с 200 до 400 Гбит/ с, а также использования на приемной стороне соединения технологий прямого обнаружения (приема) оптического сигнала IMDD (Intensity Modulation Direct Detection) или когерентного приема.
Модуляция уровня интенсивности оптического излучения с прямым обнаружением сигнала IMDD на приемной стороне была предпочтительной технологией для ЦОДов при передаче данных на короткие расстояния из-за низкой стоимости и малой сложности такого решения. Для достижения высокой скорости передачи используются компонентные сигналы, которые отличаются сочетанием высокой символьной скорости передачи (например, 50 ГБод) и формата модуляции PAM4.
Однако по мере увеличения символьной скорости в компонентных сигналах система сталкивается с такими физическими ограничениями, как снижение чувствительности приемника (receiver sensitivity), четырехволновое смешение FWM (Four-Wave Mixing), хроматическая дисперсия CD (Chromatic Dispersion) и дисперсия поляризационной моды PMD (Polarization Mode Dispersion) [11, 12].
Преодоление этих физических ограничений связано, в частности, с использованием:
Эффективной коррекции ошибок (high-order FEC), например, KP4 FEC (IEEE 802.3 bj) для компенсации потерь энергетического бюджета канала.
Технологии LAN-WDM4 с частотным разносом оптических каналов в 800 ГГц или чередованием поляризаций (XYYX) для подавления нелинейных искажений FWM.
КМОП чипов InP EML/PD, выполненных по технологическому процессу 5 нм, с полосой пропускания, превышающей 55 ГГц, и быстродействующими ЦАП/АЦП.
При изготовлении оптических приемопередатчиков для скоростей до 100 Гбит/с включительно используются лазерные технологии двух типов: EML (Electro-absorption Modulated Laser) и DML (Directly Modulated Laser).
В решении EML (Electro-Absorption Modulator, EAM) лазерный диод, работающий в режиме непрерывной волны CW (Continuous Wave), объединяется в одной микросхеме с электроабсорбционным модулятором, выполненным на основе интерферометра Маха-Цендера (Mach-Zehnder Interferometer). Принцип работы этого лазера с внешней модуляцией или электроабсорбционно-модулированного лазера основан на фотоэлектрическом эффекте, который обеспечивает высокоскоростную модуляцию амплитуды и фазы оптического излучения путем подачи напряжения на полупроводниковый материал. Решение EML, широко используемое в волоконно-оптической связи, позволяет передавать данные на большие расстояния и с высокой скоростью. Фотодиод ФД/PD, изготовленный по технологии InP, отличается небольшими размерами и интегрирован в когерентный приемник. Это решение применяется в сменных оптических модулях приемопередатчиков 100G-ER4 QSFP28 и 100G-LR4 QSFP28, ориентированных на соединения 100 Гбит/с по одномодовому волокну (SMF) с дальностью связи порядка 10 км.
В решении DML (Distributed FeedBack, DFB) используется лазерный диод с распределенной обратной связью и прямой модуляцией амплитуды и фазы оптического излучения на основе изменения концентрации носителей в полупроводниковом материале. Путем прямой модуляции можно добиться быстрого управления лазером. Это решение широко применяется в волоконно-оптической связи, поскольку характеризуется простотой интеграции, низкой стоимостью и энергопотреблением. Фотодиод ФД/PD, изготовленный по технологии InP, отличается небольшими размерами и интегрирован в когерентный приемник. Из-за ограничений в частотной характеристике и высокого уровня хроматических дисперсионных искажений решение DML подходит в основном для более низких скоростей передачи (не более 25 Гбит/с) и сравнительно коротких расстояний (2–10 км).
Лазеры DML и фотодиоды по технологии InP представлены, например, в модуле 100G-CWDM4 QSFP28, ориентированном на соединения 100 Гбит/с по одномодовому волокну (SMF) с дальностью связи порядка 2 км.
Разница между решениями EML и DML заключается в механизме работы и спектральном диапазоне. В решении EML обычно используются внешние модуляторы с возможностью применения в более широком диапазоне длин волн, например 1550–1650 нм, и на более высоких скоростях. В решении DML представлены прямые модуляторы с возможностью работы в более узком диапазоне длин волн, например 1550 нм, и на низких скоростях, но с более высоким выходным уровнем мощности оптического сигнала.
Cтандарты MEF для операторского класса Ethernet (Carrier Ethernet)
Carrier Ethernet – это набор услуг, связанных с передачей данных на большие расстояния. Поставщики сетевых услуг предлагают Carrier Ethernet для подключения географически распределенных объектов в пределах корпоративной сети или подключения одних предприятий к другим и Интернету. Предприятия также могут воспользоваться возможностями операторского класса Ethernet для построения сетей и подключения своих объектов без зависимости от поставщика сетевых услуг. Основные отличия операторского класса Ethernet (Carrier Ethernet) от традиционного проводного Ethernet – это возможность подключения на большие расстояния с более высокими скоростями передачи данных [14].
В технических требованиях ISO и IEEE представлены стандарты Ethernet с указанием уровней напряжения и длины кабеля. Технические требования MEF (Metro Ethernet Forum) определяют операторского класса Ethernet (Carrier Ethernet) с внешней точки зрения, то есть рассматриваются оказываемые услуги, но не детализируется, как их предоставлять. Технические требования MEF обеспечивают совместимость между различными сетевыми операторами, использующими оборудование разных поставщиков, и упрощают предоставление услуг. Для операторов важно придерживаться стандартов MEF, чтобы соответствовать требованиям клиентов к характеристикам и надежности взаимодействия, обеспечивать быстрое обнаружение, изоляцию и исправление сетевых сбоев, постоянный мониторинг пропускной способности, а также гарантировать выполнение требований по качеству предоставления услуг QoS.
Операторского класса Ethernet можно использовать для соединения:
Выбор технологии когерентного (Coherent) или прямого (IMDD) обнаружения (приема) в волоконно-оптических решениях для ЦОДов
Выбор между когерентным (Coherent) или прямым (IMDD) обнаружением (приемом) – ключевой вопрос обеспечения взаимодействия ЦОДов на городских (Metro) сетях [15].
Когерентное обнаружение (прием) – это технология приема оптического сигнала в DWDM волоконно-оптических системах передачи (ВОСП) при передаче данных по оптическому каналу (длине волны) пропускной способностью от 100 Гбит/с на большие расстояния.
Для извлечения информации об интенсивности, фазе и частоте, передаваемой сигналом, в приемнике используется местный источник нормированного оптического излучения (лазер). Хотя когерентное обнаружение является концепцией, основанной на системах беспроводной связи, оно широко используется в волоконно-оптической связи, особенно в магистральных протяженных оптических сетях. Проектирование волоконно-оптической сети с когерентным обнаружением проще, чем с прямым обнаружением.
Цифровые сигнальные процессоры (ЦСП) [16, 17, 18] и когерентные технологии DWDM с перестраиваемыми лазерами, работающими в C-диапазоне длин волн с использованием таких многоуровневых форматов модуляции/манипуляции, как квадратурная фазовая манипуляция (QPSK) и квадратурная амплитудная модуляция (QAM), применяются для соединения географически удаленных ЦОДов с протяженностью соединений порядка 100 км. В отличие от прямого обнаружения IMDD, когерентное может обеспечить извлечение из принятого оптического сигнала информации об уровне интенсивности (амплитуде), частоте и фазе, что позволяет получить более высокую пропускную способность соединения.
Когерентные системы отличаются более высокой чувствительностью приемника и устойчивостью к хроматическим и поляризационным дисперсионным искажениям. Благодаря этому можно отказаться от использования в промежуточных узлах сети волоконно-оптических компенсаторов хроматической дисперсии и увеличить дальность связи по сравнению с прямым обнаружением до тысяч километров. В перспективе эта технология будет все шире применяться не только на сетях большой протяженности, но и там, где требуется высокая плотность портов при меньших размерах оптических компонентов, включая когерентный приемник, то есть на городских (Metro) сетях и сетях для обеспечения взаимодействия ЦОДов (DCI).
В отличие от когерентных систем, системы с прямым обнаружением IMDD предполагают модуляцию оптического сигнала только по уровню интенсивности оптического излучения. Благодаря небольшому размеру, упрощенной структуре и низкому потреблению, система связи с прямым обнаружением IMDD стала идеальным вариантом для оптической связи на короткие расстояния. Десять с лишним лет назад отраслевым стандартом был формат модуляции NRZ, а формат модуляции PAM4 – экспериментальной идеей. Теперь формат модуляции PAM4 широко распространен, и технология продолжает развиваться. Прямое обнаружение используется, как правило, на городских сетях на коротких расстояниях в конфигурации "точка-точка", где нежелательно применение дорогостоящих и энергозатратных ЦСП.
Но с учетом требований к оптическому отношению сигнал/шум использование формата модуляции PAM4 и прямого обнаружения IMDD может обеспечить передачу сигналов со скоростью 100 Гбит/с только на расстояние порядка 80 км. Поскольку сложность и высокое энергопотребление когерентного ЦСП, а также необходимость использования перестраиваемых лазеров и когерентных оптических приемников увеличивают стоимость решения, параллельно прорабатываются когерентные решения Coherent Lite для O (Original) диапазона длин волн оптического излучения. Эта технология уже много лет обсуждается на конференциях, но до сих пор не получила существенного коммерческого применения.
При реализации соединения протяженностью от 500 м до 10 км когерентные решения в O-диапазоне длин волн оптического излучения более экономичны. Лазеры с фиксированной длиной волны около 1310 нм обеспечивают значительные преимущества по стоимости, что дополняется снижением сложности ЦСП, поскольку показатели хроматической дисперсии в O-диапазоне ниже.
На рис.5 представлены параметры хроматической дисперсии в полосе "O" (Original) одномодового волокна (SMF).
Хроматическая дисперсия – это явление, возникающее вследствие зависимости показателя преломления от длины волны оптического излучения и материала сердцевины волокна, то есть комбинации эффектов дисперсии материала и волновода.
Различные частотные компоненты распространяются в кремнии с разной скоростью. Этот компонент хроматической дисперсии называется материальной дисперсией. Хотя материальная дисперсия является основным компонентом хроматической дисперсии для большинства волокон, существует и второй компонент – волноводная дисперсия.
Дисперсия волновода возникает вследствие зависимости постоянной распространения моды от параметров волокна, то есть от радиуса сердцевины и разницы между показателями преломления в сердцевине волокна и оболочке волокна, а также от длины волны оптического сигнала.
Волноводной модой принято называть электромагнитные колебания определенного типа внутри планарной структуры, обладающей свойствами, схожими с волноводами (например, в резонансных решетках или тонких пленках), по аналогии с волновыми модами. Иными словами, эта часть излучения распространяется в модифицированном приповерхностном слое материала под определенным углом.
Свет распространяется с различной скоростью на разных длинах волн или в разных материалах. Эти скорости заставляют импульсы расширяться либо сжиматься по мере их продвижения по волокну, что позволяет настраивать профиль показателя преломления для производства оптических волокон для различных вариантов применения.
В этом случае более привлекательна технология Coherent Lite, предусматривающая переход из C-диапазона в O-диапазон длин волн оптического излучения [3].
К основным преимуществам технологии Coherent Lite для O-диапазона длин волн оптического излучения относятся:
Когерентная технология с оптикой O-диапазона позволит увеличить дальность связи и повысить пропускную способность при снижении стоимости и энергопотребления сменного оптического модуля приемопередатчика. Но для широкого распространения технологии Coherent Lite в приложениях Data Center Interconnect (DCI) еще предстоит решить ряд практических задач.
Варианты выбора оптических технологий подключений и соединений в ЦОДах представлены на рис.6.
Пояснения к рис.6:
Архитектура leaf-spine ЦОДов состоит из двух уровней: leaf и spine:
Spine включает коммутаторы (switch) высокого уровня, которые работают на магистрали;
Leaf-уровень предусматривает коммутаторы (switch) доступа, которые подключаются к таким конечным точкам, как серверы и устройства хранения.
В архитектуре leaf-spine каждый сервер может связываться с любым другим сервером, имеющим не более одного пути межсоединения между двумя leaf-коммутаторами. Крупные облачные сети с ЦОДами на основе архитектуры leaf-spine обладают необходимой масштабируемостью и надежностью.
ToR (Top of rack) – это модель коммутации, когда в каждой стойке находится коммутатор, обрабатывающий трафик с серверов в данной стойке и соединенный с коммутатором ядра или с агрегирующим слоем (в зависимости от количества уровней).
Структура ЦОДов (Data Center Fabric) – это система коммутаторов и взаимосвязей между ними, которые можно представить как единую логическую сущность. Структура допускает плоскую сетевую архитектуру, в которой любой действующий сервер или узел хранения может подключаться к любому другому серверу или узлу хранения. По аналогии любой коммутатор может подключаться к любому другому коммутатору, серверу или узлу хранения. Термин "структура" (Fabric) описывает, как коммутатор, сервер и узлы хранения подключаются ко всем другим узлам в конфигурации сетки, вызывая образ плотно сплетенной ткани. Этот вариант обеспечивает несколько избыточных путей связи и более высокую общую пропускную способность по сравнению с традиционными сетями.
Кластеры (Cluster) обычно определяются как группа либо коллекция элементов с похожими или разными характеристиками.
В перспективе для достижения пропускной способности подключений и соединений, равной 3,2 Тбит/с, необходимо будет найти баланс между характеристиками модуля приемопередатчика, а также его стоимостью и энергоэффективностью.
Возможные технологические решения включают:
Интеграцию решений на уровне фотоники: использование кремниевой фотоники для интеграции 16 компонентных каналов пропускной способностью 200 Гбит/с при одновременном повышении эффективности модуляторов и характеристик мультиплексирования с разделением по длине волны оптического излучения (WDM).
Применение компонентных сигналов 400 Гбит/с с прямым IMDD-обнаружением (приемом) на приемной стороне: для волоконно-оптических линий связи малой дальности использование прямого обнаружения сигнала IMDD на приеме, формата модуляции PAM6 (отличается от PAM4 более низкой символьной скоростью) и передовой технологии FEС.
Использование технологии когерентного приема Coherent Lite: снижение требований к полосе пропускания компонентов при высокой устойчивости к таким искажениям в оптическом канале, как хроматическая дисперсия, дисперсия поляризационных мод, четырехволновое смешение FWM и внутриполосные оптические помехи.
Литература
Advances in Beyond 400G Optical Transport Network Standards and Technologies. [Электронный ресурс]. URL: https://docbox.etsi.org/ISG/F5G/Open/F5G%20External%20Presentations%202023/ECOC%202023/6.%20ECOC2023%20-%20F5G%20Workshop%20Nokia%20(Huber).pdf (дата обращения 18.04.2025).
От 100G к 800G. Будь готов! [Электронный ресурс]. URL: https://www.iksmedia.ru/articles/5862559-Ot-100G-k-800G-Bud-gotov.html) (дата обращения 18.04.2025).
O-Band Coherent: An Idea Whose Time Is (Nearly) Here. [Электронный ресурс]. URL: https://www.marvell.com/blogs/o-band-coherent-a-idea-whose-time-is-nearly-here.html (дата обращения 18.04.2025).
The Evolution of Ethernet Standard. [Электронный ресурс]. URL: https://www.edge-core.com/solution-inquiry.php?cls=6&id=52 (дата обращения 18.04.2025).
From 100G to 1.6T Navigating Timing in the New Era of High-Speed Optical Networks. [Электронный ресурс]. URL: https://cache.webcasts.com/content/penn001/1657525/content/568373e2f427e0f7a5f4dff6d049c 432eb057149/pdf/Epson-Lightwave_webinar.pdf (дата обращения 18.04.2025).
Get to know us. [Электронный ресурс]. URL: https://www.commscope.com/about-us/ (дата обращения 18.04.2025).
Стандарт ETC 800 GbE и новые стандарты IEEE 802.3 800/1600 GbE. [Электронный ресурс]. URL: https://www.edge-core.com/blogs/towards-800g-and-1600g-ethernet/ (дата обращения 18.04.2025).
Ethernet Technology Consortium. 800G specification. [Электронный ресурс]. URL: https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf (дата обращения 18.04.2025).
Marvell Introduces 1.6 Tbps LPO Chipset to Enable Optical Short-reach, Scale-up Compute Fabric Interconnects. [Электронный ресурс]. URL: https://www.marvell.com/company/newsroom/marvell-introduces-1-6-tbps-lpo-chipset.html (дата обращения 18.04.2025).
From 800G to 3.2T: Innovations and Future Trends in Data Communication Interconnect Technology. [Электронный ресурс]. URL: https://htfuture.com/from-800g-to-3-2t-innovations-and-future-trends-in-data-communication-interconnect-technology/ (дата обращения 18.04.2025).
Коган С.С., Наний О.Е., Трещиков В.Н. Высокоскоростные оптические каналы перспективных волоконно-оптических транспортных сетей OTN/DWDM. Пропускная способность и эволюция форматов модуляции // Прикладная фотоника. 2024. № 1. С. 84–98. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/893 (дата обращения 18.04.2025).
Коган С.С., Наний О.Е., Трещиков В.Н. Высокоскоростные оптические каналы перспективных волоконно-оптических транспортных сетей OTN/DWDM. Часть 2. Дальность связи, спектральная эффективность и символьная скорость // Прикладная фотоника. 2024. № 2. С. 5–25. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/893 (дата обращения 18.04.2025).
EML и DML: в чем отличия? [Электронный ресурс]. URL: https://skeo.ru/articles/eml-i-dml-v-chjom-otlichiya. (дата обращения 18.04.2025).
Ethernet vs. Carrier Ethernet: How do they differ? TechTarget. [Электронный ресурс]. URL: https://www.techtarget.com/searchnetworking/answer/Ethernet-vs-Carrier-Ethernet-How-do-they-differ (дата обращения 18.04.2025).
100G межсоединение ЦОД (DCI) в метро: когерентное и прямое обнаружение. [Электронный ресурс]. URL: https://community.fs.com/ru/article/100g-metro-data-center-interconnectivity-dci-coherent-vs-direct-detection.html (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 1. Стандартизация открытых линейных интерфейсов 400G со сменными когерентными оптическими модулями-приемопередатчиками // ПЕРВАЯ МИЛЯ. 2024. № 2. С. 44–54. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 2. Эволюция когерентных цифровых сигнальных процессоров. Начало // ПЕРВАЯ МИЛЯ. 2024. № 4. С. 38–42; Окончание // ПЕРВАЯ МИЛЯ. 2024. № 5. С. 78–85. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 3. Эволюция технологий для изготовления когерентных ЦСП. Начало // ПЕРВАЯ МИЛЯ. 2024. № 7. С. 66–71; Окончание // ПЕРВАЯ МИЛЯ. 2024. № 8. С. 68–73. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Digital Signal Processing Techniques for High-Speed Optical Communications Links. [Электронный ресурс]. URL: https://www.researchgate.net/publication/332110044_Digital_Signal_Processing_Techniques_for_High-Speed_Optical_Communications_Links/figures?lo=1 (дата обращения 18.04.2025).
c пакетными интерфейсами на основе Ethernеt
Часть 2. Решения с использованием волоконно-оптических технологий
С.C.Коган, к.т.н., советник генерального директора компании "Т8" по формированию технической стратегии / kogan@t8.ru
УДК 621.391.15, DOI: 10.22184/2070-8963.2025.127.3.70.76
В цикле статей рассматриваются вопросы использования волоконно-оптических решений для поддержки в центрах хранения и обработки данных (ЦОДах) высоких скоростей передачи, включая стандартизацию решений Ethernet для потоков данных от 100 до 1600 Гбит/с (часть 1); решения для ЦОДов с использованием волоконно-оптических технологий (часть 2); эволюция сменных оптических модулей приемопередатчиков (трансиверов) для ЦОДов (часть 3); стандартизованные когерентные решения для сетей взаимодействия ЦОДов DCI (часть 4); выбор соединителей и кабелей для дата-центров (часть 5).
Роль волоконно-оптических технологий в увеличении пропускной способности подключений и соединений в ЦОДах
Развитие волоконно-оптических технологий для подключений и соединений ЦОДов обусловлено необходимостью сбалансировать показатели затрат, энергоэффективности, пропускной способности, дальности связи и плотности установки интерфейсов в узлах сети [10].
Рост пропускной способности подключений и соединений в ЦОДах был достигнут прежде всего за счет следующих трех ключевых технических направлений:
Повышение скорости передачи данных с 10 до 800 Гбит/с при увеличении символьной скорости с 10 до 50–100 ГБод и выше.
Оптимизация форматов модуляции с переходом от RZ/NRZ к формату модуляции PAM4 и повышением спектральной эффективности передачи данных.
Увеличение количества и пропускной способности параллельных компонентных каналов с использованием технологий мультиплексирования с разделением по длине волны оптического излучения WDM (Wavelength Division Multiplexing), а в перспективе и пространственного мультиплексирования SDM (Spatial/Spase Division multiplexing).
Ожидается, что в будущем пропускная способность подключений в ЦОДах достигнет 3,2 Тбит/с за счет увеличения скорости передачи данных по одному компонентному каналу с 200 до 400 Гбит/ с, а также использования на приемной стороне соединения технологий прямого обнаружения (приема) оптического сигнала IMDD (Intensity Modulation Direct Detection) или когерентного приема.
Модуляция уровня интенсивности оптического излучения с прямым обнаружением сигнала IMDD на приемной стороне была предпочтительной технологией для ЦОДов при передаче данных на короткие расстояния из-за низкой стоимости и малой сложности такого решения. Для достижения высокой скорости передачи используются компонентные сигналы, которые отличаются сочетанием высокой символьной скорости передачи (например, 50 ГБод) и формата модуляции PAM4.
Однако по мере увеличения символьной скорости в компонентных сигналах система сталкивается с такими физическими ограничениями, как снижение чувствительности приемника (receiver sensitivity), четырехволновое смешение FWM (Four-Wave Mixing), хроматическая дисперсия CD (Chromatic Dispersion) и дисперсия поляризационной моды PMD (Polarization Mode Dispersion) [11, 12].
Преодоление этих физических ограничений связано, в частности, с использованием:
Эффективной коррекции ошибок (high-order FEC), например, KP4 FEC (IEEE 802.3 bj) для компенсации потерь энергетического бюджета канала.
Технологии LAN-WDM4 с частотным разносом оптических каналов в 800 ГГц или чередованием поляризаций (XYYX) для подавления нелинейных искажений FWM.
КМОП чипов InP EML/PD, выполненных по технологическому процессу 5 нм, с полосой пропускания, превышающей 55 ГГц, и быстродействующими ЦАП/АЦП.
При изготовлении оптических приемопередатчиков для скоростей до 100 Гбит/с включительно используются лазерные технологии двух типов: EML (Electro-absorption Modulated Laser) и DML (Directly Modulated Laser).
В решении EML (Electro-Absorption Modulator, EAM) лазерный диод, работающий в режиме непрерывной волны CW (Continuous Wave), объединяется в одной микросхеме с электроабсорбционным модулятором, выполненным на основе интерферометра Маха-Цендера (Mach-Zehnder Interferometer). Принцип работы этого лазера с внешней модуляцией или электроабсорбционно-модулированного лазера основан на фотоэлектрическом эффекте, который обеспечивает высокоскоростную модуляцию амплитуды и фазы оптического излучения путем подачи напряжения на полупроводниковый материал. Решение EML, широко используемое в волоконно-оптической связи, позволяет передавать данные на большие расстояния и с высокой скоростью. Фотодиод ФД/PD, изготовленный по технологии InP, отличается небольшими размерами и интегрирован в когерентный приемник. Это решение применяется в сменных оптических модулях приемопередатчиков 100G-ER4 QSFP28 и 100G-LR4 QSFP28, ориентированных на соединения 100 Гбит/с по одномодовому волокну (SMF) с дальностью связи порядка 10 км.
В решении DML (Distributed FeedBack, DFB) используется лазерный диод с распределенной обратной связью и прямой модуляцией амплитуды и фазы оптического излучения на основе изменения концентрации носителей в полупроводниковом материале. Путем прямой модуляции можно добиться быстрого управления лазером. Это решение широко применяется в волоконно-оптической связи, поскольку характеризуется простотой интеграции, низкой стоимостью и энергопотреблением. Фотодиод ФД/PD, изготовленный по технологии InP, отличается небольшими размерами и интегрирован в когерентный приемник. Из-за ограничений в частотной характеристике и высокого уровня хроматических дисперсионных искажений решение DML подходит в основном для более низких скоростей передачи (не более 25 Гбит/с) и сравнительно коротких расстояний (2–10 км).
Лазеры DML и фотодиоды по технологии InP представлены, например, в модуле 100G-CWDM4 QSFP28, ориентированном на соединения 100 Гбит/с по одномодовому волокну (SMF) с дальностью связи порядка 2 км.
Разница между решениями EML и DML заключается в механизме работы и спектральном диапазоне. В решении EML обычно используются внешние модуляторы с возможностью применения в более широком диапазоне длин волн, например 1550–1650 нм, и на более высоких скоростях. В решении DML представлены прямые модуляторы с возможностью работы в более узком диапазоне длин волн, например 1550 нм, и на низких скоростях, но с более высоким выходным уровнем мощности оптического сигнала.
Cтандарты MEF для операторского класса Ethernet (Carrier Ethernet)
Carrier Ethernet – это набор услуг, связанных с передачей данных на большие расстояния. Поставщики сетевых услуг предлагают Carrier Ethernet для подключения географически распределенных объектов в пределах корпоративной сети или подключения одних предприятий к другим и Интернету. Предприятия также могут воспользоваться возможностями операторского класса Ethernet для построения сетей и подключения своих объектов без зависимости от поставщика сетевых услуг. Основные отличия операторского класса Ethernet (Carrier Ethernet) от традиционного проводного Ethernet – это возможность подключения на большие расстояния с более высокими скоростями передачи данных [14].
В технических требованиях ISO и IEEE представлены стандарты Ethernet с указанием уровней напряжения и длины кабеля. Технические требования MEF (Metro Ethernet Forum) определяют операторского класса Ethernet (Carrier Ethernet) с внешней точки зрения, то есть рассматриваются оказываемые услуги, но не детализируется, как их предоставлять. Технические требования MEF обеспечивают совместимость между различными сетевыми операторами, использующими оборудование разных поставщиков, и упрощают предоставление услуг. Для операторов важно придерживаться стандартов MEF, чтобы соответствовать требованиям клиентов к характеристикам и надежности взаимодействия, обеспечивать быстрое обнаружение, изоляцию и исправление сетевых сбоев, постоянный мониторинг пропускной способности, а также гарантировать выполнение требований по качеству предоставления услуг QoS.
Операторского класса Ethernet можно использовать для соединения:
- удаленных локальных сетей Ethernet, как будто они все являются частью единой локальной сети;
- географически распределенных удаленных сотрудников с базами данных или приложениями, работающими на серверах, как будто они находятся в здании, где размещены эти сервисы.
Выбор технологии когерентного (Coherent) или прямого (IMDD) обнаружения (приема) в волоконно-оптических решениях для ЦОДов
Выбор между когерентным (Coherent) или прямым (IMDD) обнаружением (приемом) – ключевой вопрос обеспечения взаимодействия ЦОДов на городских (Metro) сетях [15].
Когерентное обнаружение (прием) – это технология приема оптического сигнала в DWDM волоконно-оптических системах передачи (ВОСП) при передаче данных по оптическому каналу (длине волны) пропускной способностью от 100 Гбит/с на большие расстояния.
Для извлечения информации об интенсивности, фазе и частоте, передаваемой сигналом, в приемнике используется местный источник нормированного оптического излучения (лазер). Хотя когерентное обнаружение является концепцией, основанной на системах беспроводной связи, оно широко используется в волоконно-оптической связи, особенно в магистральных протяженных оптических сетях. Проектирование волоконно-оптической сети с когерентным обнаружением проще, чем с прямым обнаружением.
Цифровые сигнальные процессоры (ЦСП) [16, 17, 18] и когерентные технологии DWDM с перестраиваемыми лазерами, работающими в C-диапазоне длин волн с использованием таких многоуровневых форматов модуляции/манипуляции, как квадратурная фазовая манипуляция (QPSK) и квадратурная амплитудная модуляция (QAM), применяются для соединения географически удаленных ЦОДов с протяженностью соединений порядка 100 км. В отличие от прямого обнаружения IMDD, когерентное может обеспечить извлечение из принятого оптического сигнала информации об уровне интенсивности (амплитуде), частоте и фазе, что позволяет получить более высокую пропускную способность соединения.
Когерентные системы отличаются более высокой чувствительностью приемника и устойчивостью к хроматическим и поляризационным дисперсионным искажениям. Благодаря этому можно отказаться от использования в промежуточных узлах сети волоконно-оптических компенсаторов хроматической дисперсии и увеличить дальность связи по сравнению с прямым обнаружением до тысяч километров. В перспективе эта технология будет все шире применяться не только на сетях большой протяженности, но и там, где требуется высокая плотность портов при меньших размерах оптических компонентов, включая когерентный приемник, то есть на городских (Metro) сетях и сетях для обеспечения взаимодействия ЦОДов (DCI).
В отличие от когерентных систем, системы с прямым обнаружением IMDD предполагают модуляцию оптического сигнала только по уровню интенсивности оптического излучения. Благодаря небольшому размеру, упрощенной структуре и низкому потреблению, система связи с прямым обнаружением IMDD стала идеальным вариантом для оптической связи на короткие расстояния. Десять с лишним лет назад отраслевым стандартом был формат модуляции NRZ, а формат модуляции PAM4 – экспериментальной идеей. Теперь формат модуляции PAM4 широко распространен, и технология продолжает развиваться. Прямое обнаружение используется, как правило, на городских сетях на коротких расстояниях в конфигурации "точка-точка", где нежелательно применение дорогостоящих и энергозатратных ЦСП.
Но с учетом требований к оптическому отношению сигнал/шум использование формата модуляции PAM4 и прямого обнаружения IMDD может обеспечить передачу сигналов со скоростью 100 Гбит/с только на расстояние порядка 80 км. Поскольку сложность и высокое энергопотребление когерентного ЦСП, а также необходимость использования перестраиваемых лазеров и когерентных оптических приемников увеличивают стоимость решения, параллельно прорабатываются когерентные решения Coherent Lite для O (Original) диапазона длин волн оптического излучения. Эта технология уже много лет обсуждается на конференциях, но до сих пор не получила существенного коммерческого применения.
При реализации соединения протяженностью от 500 м до 10 км когерентные решения в O-диапазоне длин волн оптического излучения более экономичны. Лазеры с фиксированной длиной волны около 1310 нм обеспечивают значительные преимущества по стоимости, что дополняется снижением сложности ЦСП, поскольку показатели хроматической дисперсии в O-диапазоне ниже.
На рис.5 представлены параметры хроматической дисперсии в полосе "O" (Original) одномодового волокна (SMF).
Хроматическая дисперсия – это явление, возникающее вследствие зависимости показателя преломления от длины волны оптического излучения и материала сердцевины волокна, то есть комбинации эффектов дисперсии материала и волновода.
Различные частотные компоненты распространяются в кремнии с разной скоростью. Этот компонент хроматической дисперсии называется материальной дисперсией. Хотя материальная дисперсия является основным компонентом хроматической дисперсии для большинства волокон, существует и второй компонент – волноводная дисперсия.
Дисперсия волновода возникает вследствие зависимости постоянной распространения моды от параметров волокна, то есть от радиуса сердцевины и разницы между показателями преломления в сердцевине волокна и оболочке волокна, а также от длины волны оптического сигнала.
Волноводной модой принято называть электромагнитные колебания определенного типа внутри планарной структуры, обладающей свойствами, схожими с волноводами (например, в резонансных решетках или тонких пленках), по аналогии с волновыми модами. Иными словами, эта часть излучения распространяется в модифицированном приповерхностном слое материала под определенным углом.
Свет распространяется с различной скоростью на разных длинах волн или в разных материалах. Эти скорости заставляют импульсы расширяться либо сжиматься по мере их продвижения по волокну, что позволяет настраивать профиль показателя преломления для производства оптических волокон для различных вариантов применения.
В этом случае более привлекательна технология Coherent Lite, предусматривающая переход из C-диапазона в O-диапазон длин волн оптического излучения [3].
К основным преимуществам технологии Coherent Lite для O-диапазона длин волн оптического излучения относятся:
- снижение влияния хроматических дисперсионных искажений при переходе из C-диапазона в O-диапазон длин волн оптического излучения: уменьшается энергопотребление СБИС ЦСП из-за его упрощения;
- использование формата модуляции QPSK: позволяет увеличить для точек звездной диаграммы евклидово расстояние до начала координат, эффективно удваивая энергетический бюджет линии связи;
- использование на приемной стороне местного генератора LO (Local Oscillator): за счет повышения чувствительности приемника можно понизить требования к уровню излучения лазера на стороне передачи (применить недорогие DML/DFB лазеры).
Когерентная технология с оптикой O-диапазона позволит увеличить дальность связи и повысить пропускную способность при снижении стоимости и энергопотребления сменного оптического модуля приемопередатчика. Но для широкого распространения технологии Coherent Lite в приложениях Data Center Interconnect (DCI) еще предстоит решить ряд практических задач.
Варианты выбора оптических технологий подключений и соединений в ЦОДах представлены на рис.6.
Пояснения к рис.6:
Архитектура leaf-spine ЦОДов состоит из двух уровней: leaf и spine:
Spine включает коммутаторы (switch) высокого уровня, которые работают на магистрали;
Leaf-уровень предусматривает коммутаторы (switch) доступа, которые подключаются к таким конечным точкам, как серверы и устройства хранения.
В архитектуре leaf-spine каждый сервер может связываться с любым другим сервером, имеющим не более одного пути межсоединения между двумя leaf-коммутаторами. Крупные облачные сети с ЦОДами на основе архитектуры leaf-spine обладают необходимой масштабируемостью и надежностью.
ToR (Top of rack) – это модель коммутации, когда в каждой стойке находится коммутатор, обрабатывающий трафик с серверов в данной стойке и соединенный с коммутатором ядра или с агрегирующим слоем (в зависимости от количества уровней).
Структура ЦОДов (Data Center Fabric) – это система коммутаторов и взаимосвязей между ними, которые можно представить как единую логическую сущность. Структура допускает плоскую сетевую архитектуру, в которой любой действующий сервер или узел хранения может подключаться к любому другому серверу или узлу хранения. По аналогии любой коммутатор может подключаться к любому другому коммутатору, серверу или узлу хранения. Термин "структура" (Fabric) описывает, как коммутатор, сервер и узлы хранения подключаются ко всем другим узлам в конфигурации сетки, вызывая образ плотно сплетенной ткани. Этот вариант обеспечивает несколько избыточных путей связи и более высокую общую пропускную способность по сравнению с традиционными сетями.
Кластеры (Cluster) обычно определяются как группа либо коллекция элементов с похожими или разными характеристиками.
В перспективе для достижения пропускной способности подключений и соединений, равной 3,2 Тбит/с, необходимо будет найти баланс между характеристиками модуля приемопередатчика, а также его стоимостью и энергоэффективностью.
Возможные технологические решения включают:
Интеграцию решений на уровне фотоники: использование кремниевой фотоники для интеграции 16 компонентных каналов пропускной способностью 200 Гбит/с при одновременном повышении эффективности модуляторов и характеристик мультиплексирования с разделением по длине волны оптического излучения (WDM).
Применение компонентных сигналов 400 Гбит/с с прямым IMDD-обнаружением (приемом) на приемной стороне: для волоконно-оптических линий связи малой дальности использование прямого обнаружения сигнала IMDD на приеме, формата модуляции PAM6 (отличается от PAM4 более низкой символьной скоростью) и передовой технологии FEС.
Использование технологии когерентного приема Coherent Lite: снижение требований к полосе пропускания компонентов при высокой устойчивости к таким искажениям в оптическом канале, как хроматическая дисперсия, дисперсия поляризационных мод, четырехволновое смешение FWM и внутриполосные оптические помехи.
Литература
Advances in Beyond 400G Optical Transport Network Standards and Technologies. [Электронный ресурс]. URL: https://docbox.etsi.org/ISG/F5G/Open/F5G%20External%20Presentations%202023/ECOC%202023/6.%20ECOC2023%20-%20F5G%20Workshop%20Nokia%20(Huber).pdf (дата обращения 18.04.2025).
От 100G к 800G. Будь готов! [Электронный ресурс]. URL: https://www.iksmedia.ru/articles/5862559-Ot-100G-k-800G-Bud-gotov.html) (дата обращения 18.04.2025).
O-Band Coherent: An Idea Whose Time Is (Nearly) Here. [Электронный ресурс]. URL: https://www.marvell.com/blogs/o-band-coherent-a-idea-whose-time-is-nearly-here.html (дата обращения 18.04.2025).
The Evolution of Ethernet Standard. [Электронный ресурс]. URL: https://www.edge-core.com/solution-inquiry.php?cls=6&id=52 (дата обращения 18.04.2025).
From 100G to 1.6T Navigating Timing in the New Era of High-Speed Optical Networks. [Электронный ресурс]. URL: https://cache.webcasts.com/content/penn001/1657525/content/568373e2f427e0f7a5f4dff6d049c 432eb057149/pdf/Epson-Lightwave_webinar.pdf (дата обращения 18.04.2025).
Get to know us. [Электронный ресурс]. URL: https://www.commscope.com/about-us/ (дата обращения 18.04.2025).
Стандарт ETC 800 GbE и новые стандарты IEEE 802.3 800/1600 GbE. [Электронный ресурс]. URL: https://www.edge-core.com/blogs/towards-800g-and-1600g-ethernet/ (дата обращения 18.04.2025).
Ethernet Technology Consortium. 800G specification. [Электронный ресурс]. URL: https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf (дата обращения 18.04.2025).
Marvell Introduces 1.6 Tbps LPO Chipset to Enable Optical Short-reach, Scale-up Compute Fabric Interconnects. [Электронный ресурс]. URL: https://www.marvell.com/company/newsroom/marvell-introduces-1-6-tbps-lpo-chipset.html (дата обращения 18.04.2025).
From 800G to 3.2T: Innovations and Future Trends in Data Communication Interconnect Technology. [Электронный ресурс]. URL: https://htfuture.com/from-800g-to-3-2t-innovations-and-future-trends-in-data-communication-interconnect-technology/ (дата обращения 18.04.2025).
Коган С.С., Наний О.Е., Трещиков В.Н. Высокоскоростные оптические каналы перспективных волоконно-оптических транспортных сетей OTN/DWDM. Пропускная способность и эволюция форматов модуляции // Прикладная фотоника. 2024. № 1. С. 84–98. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/893 (дата обращения 18.04.2025).
Коган С.С., Наний О.Е., Трещиков В.Н. Высокоскоростные оптические каналы перспективных волоконно-оптических транспортных сетей OTN/DWDM. Часть 2. Дальность связи, спектральная эффективность и символьная скорость // Прикладная фотоника. 2024. № 2. С. 5–25. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/893 (дата обращения 18.04.2025).
EML и DML: в чем отличия? [Электронный ресурс]. URL: https://skeo.ru/articles/eml-i-dml-v-chjom-otlichiya. (дата обращения 18.04.2025).
Ethernet vs. Carrier Ethernet: How do they differ? TechTarget. [Электронный ресурс]. URL: https://www.techtarget.com/searchnetworking/answer/Ethernet-vs-Carrier-Ethernet-How-do-they-differ (дата обращения 18.04.2025).
100G межсоединение ЦОД (DCI) в метро: когерентное и прямое обнаружение. [Электронный ресурс]. URL: https://community.fs.com/ru/article/100g-metro-data-center-interconnectivity-dci-coherent-vs-direct-detection.html (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 1. Стандартизация открытых линейных интерфейсов 400G со сменными когерентными оптическими модулями-приемопередатчиками // ПЕРВАЯ МИЛЯ. 2024. № 2. С. 44–54. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 2. Эволюция когерентных цифровых сигнальных процессоров. Начало // ПЕРВАЯ МИЛЯ. 2024. № 4. С. 38–42; Окончание // ПЕРВАЯ МИЛЯ. 2024. № 5. С. 78–85. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Коган С.С. Транспортные ВОСП большой пропускной способности. Часть 3. Эволюция технологий для изготовления когерентных ЦСП. Начало // ПЕРВАЯ МИЛЯ. 2024. № 7. С. 66–71; Окончание // ПЕРВАЯ МИЛЯ. 2024. № 8. С. 68–73. [Электронный ресурс]. URL: https://t.me/OpticalNetworksRussia/690 (дата обращения 18.04.2025).
Digital Signal Processing Techniques for High-Speed Optical Communications Links. [Электронный ресурс]. URL: https://www.researchgate.net/publication/332110044_Digital_Signal_Processing_Techniques_for_High-Speed_Optical_Communications_Links/figures?lo=1 (дата обращения 18.04.2025).
Отзывы читателей
