eng
Ethernet уже достаточно давно из технологии передачи данных превратился в глобальную идеологию построения телекоммуникационных сетей. Развитие происходит как в сторону роста скоростей передачи, так и в направлении расширения областей применений. И опубликованный год назад стандарт 40/100 Gigabit Ethernet – важная веха в развитии этой технологии. Важная не только сама по себе, но и тем, что открывает новые, гораздо более широкие горизонты перед всем телекоммуникационным сообществом.
Краткая Предыстория
В 1973 году сотрудник исследовательского центра в Пал-Альто компании Xerox Роберт Метклаф представил своему руководству докладную записку. В ней были описаны основные приципы создания сети передачи данных на основе "множественного доступа к каналу с контролем несущей и обнаружением коллизий" (CSMA/CD). Технологию автор докладной записки назвал Ethernet. В том же году вместе с Дэвидом Боггсом он построил первую Ethernet-сеть, связавшую два компьютера со скоростью 2,944 Мбит/с. Еще через шесть лет стараниями Метклафа три ведущие тогда в своих областях компании – Xerox, Intel и Digital Equipment (DEC) – начали процесс стандартизации протокола Ethernet, успешно завершившийся через год.
В 1985 году впервые был опубликован документ IEEE Std 802.3 "Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications". Стандарт описывал сеть передачи данных со скоростью 10 Мбит/с. С тех пор он многократно расширялся и обновлялся, вбирая в себя многочисленные дополнения. Среди них – дополнения IEEE 802.3u (100 Мбит/с, Fast Ethernet), 802.3z (1000 Мбит/с, Gigabit Ethernet, GE), 802.3ae (10 Гбит/с, 10GE) и т.д. Росла не только скорость, но и функциональные возможности. Появились спецификации и описания технологии Ethernet для сетей доступа и магистральных сетей, для витой медной пары, соединительных панелей оборудования и волоконно-оптических сетей. Изменялась и расширялась архитектура сетей, принципы построения оборудования. И сегодня Ethernet – это уже не технология, а скорее, идеология организации систем передачи информации, включающая в себя множество разнообразных методов, в зависимости от задач и условий. Не удивительно, что почти половина всех наиболее высокопроизводительных суперкомпьютеров в качестве внутренней коммуникационной сети использует технологию Ethernet. В конце 2008 года был опубликован стандарт IEEE 802.3-2008 [1], вобравший в себя все утвержденные на тот момент дополнения. Но работы по развитию Ethernet, естественно, не останавливались.
Потребность в увеличении скорости передачи данных для сетей Ethernet постоянна – причем в каждом классе приложений. Осознавая это, в июле 2006 года в Сан-Диего представители нескольких десятков ведущих компаний договорились о создании рабочей группы для разработки стандарта "более высокоскоростного Ethernet" – Higher Speed Ethernet (HSE). Группа HSSG (Higher Speed Study Group) немедленно приступила к работе. Через год, в июле 2007 года комитет IEEE 802 официально утвердил проект по разработке нового стандарта, поначалу фигурировавшего под названием 802.3 HSE. Название отражает суть проблем, вставших перед разработчиками в тот момент. Действительно, почему бы сразу не назвать стандарт 100GE (100 Гбит/с Ethernet)? Но как мы уже отмечали, Ethernet к тому моменту окончательно превратился в глобальную идеологию построения сетей. Требовалось идеологически общее решение и для сетей доступа, и для распределительных (агрегационных) сетей, и для магистральных линий. Нельзя было забывать и о внутрисистемных распределительных сетях и объединительных шинах (Ethernet for backplane), все больше и больше востребуемых сверхвысокопроизводительными вычислительными системами.
Основные критерии, которым должен был соответствовать новый стандарт, – это высокая скорость ("полоса пропускания – это товар"), устойчивость и снижение операционных затрат (OPEX) [2]. Стандарт должен быть применим для соединений протяженностью и в метр (соединительные панели), и сотни метров (локальные сети), в единицы километров (сети доступа), и в десятки километров. Причем по разным средам – витая пара, одномодовое оптическое волокно (ОМ ОВ), многомодовое оптическое волокно (ММ ОВ). При этом отмечалось, что необходимо единообразное масштабируемое техническое решение для соединений протяженностью и 100 м, и 10 км.
Существенным оказался вопрос и со скоростью передачи. Было совершенно очевидно, что скорости порядка 100 Гбит/с на современном уровне развития полупроводниковых технологий реально добиться, только организуя несколько параллельных потоков данных. При этом очень привлекательно выглядела концепция, когда в системе на логическом уровне (МАС-уровне) используется единая скорость передачи данных (т.е. все сетевые устройства обработки ориентированы на эту скорость), а на физическом поток разбивается на параллельные подпотоки (lanes), скорость в которых зависит от используемой среды передачи и дальности связи.
С другой стороны, одна из важных областей применения HSE – транспортные сети. И тут возникает принципиальный вопрос. На уровне транспортных потоков развитие получила иерархическая технология оптических транспортных сетей OTN, стандартизированная в рекомендации ITU-T G.709 [3]. Она подразумевает четыре основных уровня иерархии скоростей – 2,5; 10; 40 и 100 Гбит/с (уровни OTU1–OTU4, соответственно). Такая иерархия подразумевала возможность инкапсуляции в цифровые кадры OTN соответствующих потоков SDH (STM-16, STM-64, STM-256). Очевидно, что единая концепция телекоммуникационных сетей должна позволять инкапсулировать в OTN и потоки Ethernet. Именно для поддержки уровня OTU3 (40 Гбит/с) и был введен уровень скоростей 40GE.
Поначалу такое решение казалось очевидным не всем – ведь нарушался принцип единой скорости на МАС-уровне. Тем не менее, консенсус был достигнут, и 22 июня 2010 года был опубликован стандарт IEEE 802.3ba-2010 Media Access Control Parameters, Physical Layers and Management Parameters for 40 Gb/s and 100 Gb/s Operation [4]. Этот документ, описывающий физический и МАС-уровни для Ethernet со скоростями 40 и 100 Гбит/с, – дополнение к объединенному стандарту IEEE 802.3-2008.
Стандарт IEEE 802.3ba-2010 (40/100GE)
Основные задачи, которые должен решать стандарт, были сформулированы еще в 2006 году и с рядом изменений сохранились в финальной версии. Стандарт 40/100GE должен:
• поддерживать только полнодуплексные режимы Ethernet МАС-уровня;
• сохранять формат кадра Ethernet 802.3 MAC-уровня;
• сохранять минимальный и максимальный размеры кадров стандарта IEEE 802.3;
• обеспечивать поддержку BER на уровне не хуже 10-12 на интерфейсе между MAС- и физическим уровнями;
• обеспечивать совместимость с оптическими транспортными сетями OTN;
• поддерживать скорость 40 и 100 Гбит/с на MAC‑уровне.
Стандарт определяет восемь типов интерфейсов физического уровня (табл.1) для различных сред и скоростей передачи (40 и 100 Гбит/с). В качестве среды передачи предусматриваются одномодовое и многомодовое оптическое волокно, медная витая пара и электрическая объединительная шина (backplane). Скорость 100 Гбит/с для работы в объединительных шинах не предусмотрена. На скорости 100 Гбит/с предусмотрены дальний (LR, до 10 км) и сверхдальний (ER, до 40 км) режимы работы. Отличаются они только требованиями к бюджету линии – сверхдальний режим фактически означает необходимость применения в ВОЛС оптических усилителей.
Принципиальное новшество стандарта – переход с последовательной передачи сигнала на параллельную по нескольким потокам (lanes). Скорость в каждом физическом канале – либо 10, либо 25 Гбит/с. Так, для 100-Гбит/с интерфейсов возможна передача десяти 10-Гбит/с потоков либо по 10 витым медным парам, либо по 10 ММ ОВ в каждом направлении. Для работы по ОМ ОВ используются четыре потока по 25 Гбит/с, разделенные по длине волны и передаваемые в одном ОВ. Для 40-Гбит/с интерфейсов используются только 10-Гбит/с потоки, передаваемые по проводникам объединительной шины, по медным парам или по оптическому волокну.
Принципиальный момент, с которым столкнулись разработчики стандарта – возможность инкапсулировать Ethernet-потоки в транспортные потоки сетей SDH и OTN. Проблема в том, что при равенстве номинальных скоростей (например, в 40 Гбит/с для 40GE и STM-256), реальные скорости потоков различаются. В свое время это было проблемой для 10GE [5]. Действительно, в контейнер SDH STM-64 (или SONET ОС-192) можно инкапсулировать поток 9,95328 Гбит/с. А скорость потока 10GE – 10,3125 Гбит/с. Тогда проблему решили введением дополнительного интерфейса 10GE-WAN со скоростью 9,95328 Гбит/с [1, 5]. Однако практика показала, что такое решение нежизнеспособно: рынок требует относительно недорогих решений 10GE на основе массовых маршрутизаторов и коммутаторов, которые поддерживают 10GE-LAN (10,3125 Гбит/с), но не 10GE-WAN [6].
Поэтому когда аналогичная проблема встала на уровне – поток 42,25 бит/с 40GE нелья передать по каналам STM-256 (39,81 Гбит/с), разработчики просто отказались от поддержки инкапсуляции потоков Ethernet в потоки SDH STM, выбрав в качестве транспортной среды иерархию OTN (ITU-T G.709). Нужно отметить, что разрабатывающая рекомендацию G.709 группа ITU-T SG15 работала в тесном взаимодействии с рабочей группой IEEE 802.3 HSSG. В результате потоки Ethernet можно инкапсулировать в потоки OTN соответствующих уровней: 10GE – в OTU2 (10,71 Гбит/с), 40GE – в OTU3 (43,02 Гбит/с), 100GE (103,12 Гбит/с) – в OTU4 (111,81 Гбит/с).
Структура физического уровня
Деление на различные уровни (физический, канальный и т.п.) и их подуровни достаточно условно. По сути, это функциональное деление набора процедур, которые должна реализовать аппаратура для передачи данных. И в этом смысле функциональное деление позволяет создавать унифицированные компоненты, причем стандартизованные не только по функциям, но и по интерфейсам. Соответственно, нужно иметь в виду, что описываемые ниже логические подуровни и интерфейсы могут иметь отдельное аппаратное воплощение, а могут и быть реализованными в одной микросхеме или модуле. Например, процедуры МАС-уровня и часть функций физического уровня, независимых от среды передачи, реализуют в одном чипе, а функции, связанные с конкретной средой (оптоволокно, витая пара и т.п.) – в другом.
В новом стандарте MAC-уровень не изменился – он преобразует пакеты верхних уровней в кадры Ethernet: сегментирует, добавляет к заголовку преамбулу, MAC-адрес и контрольную последовательность FCS (рис.1). Физический уровень 40/100GE разделен на пять подуровней: три основных (PCS, PMA, PMD) и два опциональных, отсутствующих в 10GE, – FEC и AN (рис.2). Для различных типов физических интерфейсов используются далеко не все функции подуровней (табл.2).
С МАС-уровня данные попадают на подуровень согласования (RS – Reconciliation Sublayer), где последовательный поток данных преобразуется в параллельный 64-битный (64B) и через логический интерфейс XLGMII /CGMII (40/100 Gigabit Media Independent Interface – независимый от среды передачи 40/100-Гбит/с логический интерфейс) попадает на подуровень кодирования PCS.
На подуровне кодирования (PCS – Physical Coding Sublayer) 64B-поток преобразуется в 66-разрядный поток (66B) (кодирование 64B/66B) и разделяется на несколько потоков (lanes) с меньшей скоростью. При этом поток 40 Гбит/с МАС-уровня за счет введения дополнительных битов расширяется до 41,25 Гбит/с и делится на четыре потока по 10,3125 Гбит/с, а поток 100 Гбит/с расширяется до 103,125 Гбит/с и делится на 20 потоков по 5,15625 Гбит/с. При кодировании (скремблировании) к 64-битовым блокам добавляется так называемый синхрозаголовок в 2 бита.
Поскольку последовательный поток битов распределяется по параллельным потокам, чтобы потом исходный поток восстановить в приемнике, между параллельными потоками должна сохраняться врменная синхронизация. Учитывая скорости и расстояния, предусмотренные стандартом, физические рассогласования неизбежны. Для компенсации временных сдвигов (перекосов) используются специальные выравнивающие маркеры. Это 66-разрядные блоки, добавляемые через каждые 16383 кодовых 66В-блока. Маркеры вставляются в каждый поток строго одновременно. Измеряя временной сдвиг их поступления, приемник способен восстановить синхронность потоков. Кодированные данные поступают на подуровень PMA. Причем для вариантов 40GE стандарт определяет только четыре потока по 10,3125 Гбит/с, для 100GE – только 20 потоков по 5,15625 Гбит/с.
На подуровне подключения к среде передачи (PMA – Physical Medium Attachment) потоки с PCS-подуровня мультиплексируются в требуемое число физических потоков. Для 40GE выходных потоков может быть только четыре, для 100GE – либо 10, либо 4. К подуровню PMA относятся функции восстановления синхронизации в потоках, а также функции тестирования передачи данных – генерацию тестовых последовательностей, формирование петли обратной связи данных для тестирования и т.п.
Соответственно, на РМА-подуровне происходит мультиплексирование PCS-потоков в физические. При этом возможно перемежение (интерливинг) битов входных потоков по выходным (т.е. входные битовые потоки перемешиваются по определенному закону и распределяются по выходным потокам). Стандарт не определяет процедуру бит-мультиплексирования, однако для 100GE реально используются (описаны) схемы мультиплексирования 20 в 10 или 10 в 4 (и наоборот) [7]. Выбор схемы мультиплексирования во многом связан со способом практической реализации аппаратуры.
Для передачи по медной витой паре или по объединительной шине между подуровнями PCS и PMA может быть добавлен подуровень помехоустойчивого кодирования FEC. Каждый поток кодируется независимо от других. Стандарт подразумевает применение циклического кода Файера (FC – Fire Code). Код FC (2112, 2080) добавляет 32-разрядную контрольную последовательность (СRC-32) к каждым 32 блокам данных по 65 бит каждый (при кодировании из 66-битовых блоков удаляется один контрольный бит). Он позволяет исправлять пачки ошибок длиной до 11 бит в каждом потоке, компенсируя потери в линии до 2 дБ [7]. Определить, используется ли FEC-кодирование, позволяют процедуры подуровня автоопределения AN (Auto-Negotiation) (он также применим только для объединительной шины и медный витых пар).
До сих пор мы рассматривали подуровни, не зависящие от среды передачи. На подуровне, зависящем от физической среды передачи (PMD) реализованы процедуры, определяемые конкретным носителем сигналов (типом линии). Последний подуровень – связи со средой передачи (MDI) – реализует физический интерфейс между средой передачи и устройством. По сути, это физический разъем к среде передачи (к оптическому кабелю, медной витой паре и т.п.).
Как мы отмечали, подуровни введены, поскольку соответствующие им функции могут быть реализованы посредством различных физических устройств (микросхем, электронных модулей и т.п.). Следовательно, для связи между ними необходимы стандартизованные интерфейсы. Спецификация IEEE 802.3ba-2010 определяет шесть вспомогательных интерфейсов между подуровнями физического уровня (сервисные интерфейсы): XLGMII/CGMII, XLAUI/CAUI, XLPPI/CPPI. В названии интерфейса буквы XL означают 40 Гбит/с, C – 100 Гбит/с (обозначение номинала скорости в греческой нумерации).
Сервисные интерфейсы опциональны, но рекомендованы к применению и широко используются в стандарте. Они позволяют гибко передавать потоки между разнотипными устройствами, максимально используя возможности оборудования различных производителей. Из них наиболее важны последние два, поскольку в современных ИС одновременно реализуются функции подуровней согласования и кодирования, поэтому в них интерфейс XLGMII/CGMII не используется (остается логическим).
Сервисные интерфейсы XLAUI/CAUI и XLPPI/CPPI предназначены для связи на плате: между микросхемами (ИС-ИС) или между ИС и модулем. Рассмотрим их подробнее.
XLAUI/CAUI (40/100 Gigabit Attachment Unit Interface, интерфейс подключения к устройству) – 40/100 Гбит/с физический самосинхронизирующийся интерфейс подуровня PMA (рис.3). Через него передаются 4 (40GE) или 10 (100GE) независимых 66-битных потоков (10,3125 Гбит/с каждый). Такая схема позволяет использовать уже существующую элементную базу, созданную для 10GE
Интерфейс может использоваться для прозрачной связи ИС-ИС или ИС-модуль, реализующих различные функции подуровня PMA. Длина соединений интерфейса XLAUI/CAUI на печатной плате может составлять порядка 25 см. Интерфейс реализуется посредством дифференциальных пар. Возможно использование одного разъема (связь ИС-модуль), при этом потери в нем не должны превышать 0,5 дБ. В стандарте отмечено, что интерфейс XLAUI/CAUI в варианте "ИС-модуль" применим только для оптических интерфейсов 40/100GE (см. табл.2)
Принципиальная особенность интерфейса – он обеспечивает самосинхронизацию потоков.
Интерфейс XLPPI/CPPI (nPPI) (40/100 Gigabit Parallel Physical Interface) – 40/100 Гбит/с физический параллельный интерфейс между подуровнями PMA и PMD (см. рис.3). Используется только для связи оптическими модулями для передачи потоков по 10,3125 Гбит/с. Поскольку в этом случае синхронизация не требуется, интерфейс nPPI – не самосинхронизирующийся. Соответственно, он используется только в вариантах 40GBASE-SR4/LR4 и 100GBASE-SR10.
Если опциональные сервисные интерфейсы реализуются физически, то стандарт предусматривает определенные контрольные точки измерения времени относительной задержки потоков (SP1-3 для направления передачи, SP4-6 – для направления приема), временные параметры которых нормированы (рис.4).
Хотя стандарт определяет спецификацию сервисных интерфейсов с точностью до битов, байтов и кадров, для удобства реализации ширина потока данных может быть выбрана произвольно, с учетом того, что интерфейс XLGMII / CGMII использует потоки данных шириной 64 бита, для остальных интерфейсов должно соблюдаться число потоков.
Реализация PMD-подуровней для оптических интерфейсов 40/100 GE
Рассмотрим особенности реализации оптических интерфейсов 40/100 Gigabit Ethernet. Интерфейсы 40GBASE-SR4 и 100GBASE-SR10 позволяют передать потоки данных на расстояние 100 м по многомодовому ОВ в первом окне прозрачности (850 нм). Для определенности остановимся на варианте 100GBASE-SR10 – 10 потоков по 10,3125 Гбит/с каждый. Устройство подуровня PMD конвертирует 10 электрических потоков в 10 оптических и передает их на подуровень MDI (в коннектор). Соответственно, при приеме реализуется обратный процесс (рис.5). Для 40-Гбит/с варианта все аналогично, только число потоков 4, а не 10.
Стандарт предусматривает набор из четырех контрольных точек ТР1 – 4 (для каждого направления), для которых нормированы временные и электрические параметры сигналов: TP1 – электрический сигнал на передающей стороне (между PMA и электрическим входом устройства, реализующего функции PMD); TP2 – оптический сигнал в многомодовом патчкорде (50 мкм) на расстоянии 2–5 м от выхода оптического передатчика; TP3 – оптический сигнал на выходе из ММ ОВ в интерфейсе MDI (в коннекторе на входе приемника); TP4 – электрический сигнал на приемной стороне (электрический выход устройства, реализующего функции PMD).
Варианты 40/100GBASE-LR4 и 100GBASE-ER4 – позволяют передать четыре потока на расстояние 10/40 км по ОМ ОВ во втором окне прозрачности (1300 нм). PMD в этом случае реализуется аналогично (рис.6). От вариантов с ММ ОВ ее отличает только наличие мультиплексоров/демультиплексоров WDM.
В случае 100GBASE-LR4/ER4 потоки по 25 Гбит/с мультиплексируются в одно ОМ ОВ посредством четырех несущих с шагом 800 ГГц: 231,4 ТГц (1295,56), 230,6 ТГц (1300,05 нм), 229,8 ТГц (1304,58 нм) и 229 ТГц (1309,14 нм)в соответствии со стандартной частотной сеткой ITU-T G.694.1 с шагом 100 ГГц. Обмен данными происходит в дуплексном режиме по двум ОВ (одно ОВ на одно направление).
В случае 40GBASE-LR4 потоки по 10 Гбит/с мультиплексируются в одно ОМ ОВ посредством четырех несущих с длинами волн 1271, 1291, 1311 и 1331 нм в соответствии со стандартной частотной сеткой CWDM (ITU-T G.694.2) с шагом 20 нм.
Пример практической реализации PMD интерфейса 100GBASE-LR4/ER4 показан на рис.7. Модуль подключается посредством стандартного интерфейса CAUI (10×10 Гбит/с) [8, 9]. В модуле 10 входных потоков (10 Гбит/с) конвертируется в четыре потока по 25 Гбит/с и мультиплексируются в одно ОВ. В направлении приема все происходит в обратном порядке.
Что дальше?
Не успев приступить к массовому внедрению технологий 40/100GE, телекоммуникационный мир смотрит дальше – какая технология станет развитием 100-Гбит/с Ethernet-сетей? Действительно, телекоммуникации развиваются столь быстро, что каждые 18 месяцев требуется удваивать пропускную способность магистральных сетей [8]. В соответствии с этой тенденцией, к 2015 году возникнет потребность в терабитных сетях Ethernet. Поэтому следующим шагом развития может стать появление технологии 400GE. Все предпосылки к этому есть, благо многопотоковая структура 40/100GE вполне допускает масштабирование. Причем масштабирование возможно как по числу потоков (линий передачи, несущих в ОМ ОВ), так и по скорости отдельного трансивера в потоке. Например, мультиплексируя 16 потоков по 25 Гбит/с, можно достичь требуемой скорости в 400 Гбит/с. А 40 таких потоков дадут уже 1 Тбит/с.
Первым шагом в данном направлении может стать создание модулей, электрически подключаемых по каналам со скоростью 25 Гбит/с. Такие модули найдут широкое применение и в оборудовании 100GE – действительно, если 100GE‑трансивер подключать не через 10-потоковый электрический интерфейс (как на рис.7), а посредством четырех потоков по 25 Гбит/с (рис.8) [9], то массогабаритные и энергетические характеристики существенно снизятся. Возможно, через вполне обозримое время 25-Гбит/с модули станут столь же массовыми, как сегодня 10-Гбит/с компоненты.
Возможны и другие направления роста скорости. Например, повышение скорости модуляции на одной несущей – с 25 до 100 Гбит/с. Теоретически это возможно за счет повышения скорости модуляции и увеличения степени мультиплексирования. Но практически такие возможности откроются только с появлением соответствующей коммерческой элементной базы. Отметим, что развиваются и другие направления стандарта – например, 10GE для объединительной шины.
* * *
Таким образом, стандарт IEEE 802.3ab – это не просто новое поколение Ethernet-технологий, но и принципиально новый этап, открывающий путь к дальнейшему росту скоростей. Тут очень многое зависит от производителей элементной базы и оборудования, но они не заставят себя ждать.
Литература
1. IEEE 802.3-2008 – Standard for Information technology – Local and Metropolitan Area Networks – Specific Requirements – Part 3: Carrier Sense Multiple Access with Collision Detection (CSMA/CD): Access Method and Physical Layer Specifications. – IEEE, 26 December 2008.
2. Brad Booth. Higher Speed Ethernet – Overview. – IEEE 802.3 Working Group, San Diego, CA, July 18, 2006. www.ieee802.org/3/cfi/0706_1/CFI_01_0706.pdf.
3. ITU-T G.709/Y.1331. Interfaces for the Optical Transport Network (OTN). – ITU, 12.2009.
4. IEEE 802.3ba-2010. IEEE Standard for Information Technology. Amendment 4: Media Access Control Parameters, Physical Layers and MaNagement Parameters for 40 Gb/s and 100 Gb/s Operation. – IEEE, 22 June 2010.
5. Слепов Н. 10-гигабитный Ethernet: сегодня и завтра. – Первая миля, 2007, №1, с.10–18.
6. J.Roese, M.Tomizava, O.Ishida. Optical Transport Network Evolving with 100 Gigabit Ethernet. – IEEE Communications Magazine, March 2010, vol.50, №3, pp.s28–s34.
7. H.Toyoda, G.Ono, Sh.Nishimura. 100GbE PHY and MAC Layer Implementations. – там же, p. s41–s47.
8. J.D’Ambrosia. 100 Gigabit Ethernet and Beyond. – там же, p. s.6–s.13.
9. C.Cole, D.Allouche, F.Flens, B.Huebner, T.Nguyen. 100GbE- Optical LAN Technologies. – IEEE Communications Magazine Applications Practice, Volume 47, December 2007, p.12–19.
В 1973 году сотрудник исследовательского центра в Пал-Альто компании Xerox Роберт Метклаф представил своему руководству докладную записку. В ней были описаны основные приципы создания сети передачи данных на основе "множественного доступа к каналу с контролем несущей и обнаружением коллизий" (CSMA/CD). Технологию автор докладной записки назвал Ethernet. В том же году вместе с Дэвидом Боггсом он построил первую Ethernet-сеть, связавшую два компьютера со скоростью 2,944 Мбит/с. Еще через шесть лет стараниями Метклафа три ведущие тогда в своих областях компании – Xerox, Intel и Digital Equipment (DEC) – начали процесс стандартизации протокола Ethernet, успешно завершившийся через год.
В 1985 году впервые был опубликован документ IEEE Std 802.3 "Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications". Стандарт описывал сеть передачи данных со скоростью 10 Мбит/с. С тех пор он многократно расширялся и обновлялся, вбирая в себя многочисленные дополнения. Среди них – дополнения IEEE 802.3u (100 Мбит/с, Fast Ethernet), 802.3z (1000 Мбит/с, Gigabit Ethernet, GE), 802.3ae (10 Гбит/с, 10GE) и т.д. Росла не только скорость, но и функциональные возможности. Появились спецификации и описания технологии Ethernet для сетей доступа и магистральных сетей, для витой медной пары, соединительных панелей оборудования и волоконно-оптических сетей. Изменялась и расширялась архитектура сетей, принципы построения оборудования. И сегодня Ethernet – это уже не технология, а скорее, идеология организации систем передачи информации, включающая в себя множество разнообразных методов, в зависимости от задач и условий. Не удивительно, что почти половина всех наиболее высокопроизводительных суперкомпьютеров в качестве внутренней коммуникационной сети использует технологию Ethernet. В конце 2008 года был опубликован стандарт IEEE 802.3-2008 [1], вобравший в себя все утвержденные на тот момент дополнения. Но работы по развитию Ethernet, естественно, не останавливались.
Потребность в увеличении скорости передачи данных для сетей Ethernet постоянна – причем в каждом классе приложений. Осознавая это, в июле 2006 года в Сан-Диего представители нескольких десятков ведущих компаний договорились о создании рабочей группы для разработки стандарта "более высокоскоростного Ethernet" – Higher Speed Ethernet (HSE). Группа HSSG (Higher Speed Study Group) немедленно приступила к работе. Через год, в июле 2007 года комитет IEEE 802 официально утвердил проект по разработке нового стандарта, поначалу фигурировавшего под названием 802.3 HSE. Название отражает суть проблем, вставших перед разработчиками в тот момент. Действительно, почему бы сразу не назвать стандарт 100GE (100 Гбит/с Ethernet)? Но как мы уже отмечали, Ethernet к тому моменту окончательно превратился в глобальную идеологию построения сетей. Требовалось идеологически общее решение и для сетей доступа, и для распределительных (агрегационных) сетей, и для магистральных линий. Нельзя было забывать и о внутрисистемных распределительных сетях и объединительных шинах (Ethernet for backplane), все больше и больше востребуемых сверхвысокопроизводительными вычислительными системами.
Основные критерии, которым должен был соответствовать новый стандарт, – это высокая скорость ("полоса пропускания – это товар"), устойчивость и снижение операционных затрат (OPEX) [2]. Стандарт должен быть применим для соединений протяженностью и в метр (соединительные панели), и сотни метров (локальные сети), в единицы километров (сети доступа), и в десятки километров. Причем по разным средам – витая пара, одномодовое оптическое волокно (ОМ ОВ), многомодовое оптическое волокно (ММ ОВ). При этом отмечалось, что необходимо единообразное масштабируемое техническое решение для соединений протяженностью и 100 м, и 10 км.
Существенным оказался вопрос и со скоростью передачи. Было совершенно очевидно, что скорости порядка 100 Гбит/с на современном уровне развития полупроводниковых технологий реально добиться, только организуя несколько параллельных потоков данных. При этом очень привлекательно выглядела концепция, когда в системе на логическом уровне (МАС-уровне) используется единая скорость передачи данных (т.е. все сетевые устройства обработки ориентированы на эту скорость), а на физическом поток разбивается на параллельные подпотоки (lanes), скорость в которых зависит от используемой среды передачи и дальности связи.
С другой стороны, одна из важных областей применения HSE – транспортные сети. И тут возникает принципиальный вопрос. На уровне транспортных потоков развитие получила иерархическая технология оптических транспортных сетей OTN, стандартизированная в рекомендации ITU-T G.709 [3]. Она подразумевает четыре основных уровня иерархии скоростей – 2,5; 10; 40 и 100 Гбит/с (уровни OTU1–OTU4, соответственно). Такая иерархия подразумевала возможность инкапсуляции в цифровые кадры OTN соответствующих потоков SDH (STM-16, STM-64, STM-256). Очевидно, что единая концепция телекоммуникационных сетей должна позволять инкапсулировать в OTN и потоки Ethernet. Именно для поддержки уровня OTU3 (40 Гбит/с) и был введен уровень скоростей 40GE.
Поначалу такое решение казалось очевидным не всем – ведь нарушался принцип единой скорости на МАС-уровне. Тем не менее, консенсус был достигнут, и 22 июня 2010 года был опубликован стандарт IEEE 802.3ba-2010 Media Access Control Parameters, Physical Layers and Management Parameters for 40 Gb/s and 100 Gb/s Operation [4]. Этот документ, описывающий физический и МАС-уровни для Ethernet со скоростями 40 и 100 Гбит/с, – дополнение к объединенному стандарту IEEE 802.3-2008.
Стандарт IEEE 802.3ba-2010 (40/100GE)
Основные задачи, которые должен решать стандарт, были сформулированы еще в 2006 году и с рядом изменений сохранились в финальной версии. Стандарт 40/100GE должен:
• поддерживать только полнодуплексные режимы Ethernet МАС-уровня;
• сохранять формат кадра Ethernet 802.3 MAC-уровня;
• сохранять минимальный и максимальный размеры кадров стандарта IEEE 802.3;
• обеспечивать поддержку BER на уровне не хуже 10-12 на интерфейсе между MAС- и физическим уровнями;
• обеспечивать совместимость с оптическими транспортными сетями OTN;
• поддерживать скорость 40 и 100 Гбит/с на MAC‑уровне.
Стандарт определяет восемь типов интерфейсов физического уровня (табл.1) для различных сред и скоростей передачи (40 и 100 Гбит/с). В качестве среды передачи предусматриваются одномодовое и многомодовое оптическое волокно, медная витая пара и электрическая объединительная шина (backplane). Скорость 100 Гбит/с для работы в объединительных шинах не предусмотрена. На скорости 100 Гбит/с предусмотрены дальний (LR, до 10 км) и сверхдальний (ER, до 40 км) режимы работы. Отличаются они только требованиями к бюджету линии – сверхдальний режим фактически означает необходимость применения в ВОЛС оптических усилителей.
Принципиальное новшество стандарта – переход с последовательной передачи сигнала на параллельную по нескольким потокам (lanes). Скорость в каждом физическом канале – либо 10, либо 25 Гбит/с. Так, для 100-Гбит/с интерфейсов возможна передача десяти 10-Гбит/с потоков либо по 10 витым медным парам, либо по 10 ММ ОВ в каждом направлении. Для работы по ОМ ОВ используются четыре потока по 25 Гбит/с, разделенные по длине волны и передаваемые в одном ОВ. Для 40-Гбит/с интерфейсов используются только 10-Гбит/с потоки, передаваемые по проводникам объединительной шины, по медным парам или по оптическому волокну.
Принципиальный момент, с которым столкнулись разработчики стандарта – возможность инкапсулировать Ethernet-потоки в транспортные потоки сетей SDH и OTN. Проблема в том, что при равенстве номинальных скоростей (например, в 40 Гбит/с для 40GE и STM-256), реальные скорости потоков различаются. В свое время это было проблемой для 10GE [5]. Действительно, в контейнер SDH STM-64 (или SONET ОС-192) можно инкапсулировать поток 9,95328 Гбит/с. А скорость потока 10GE – 10,3125 Гбит/с. Тогда проблему решили введением дополнительного интерфейса 10GE-WAN со скоростью 9,95328 Гбит/с [1, 5]. Однако практика показала, что такое решение нежизнеспособно: рынок требует относительно недорогих решений 10GE на основе массовых маршрутизаторов и коммутаторов, которые поддерживают 10GE-LAN (10,3125 Гбит/с), но не 10GE-WAN [6].
Поэтому когда аналогичная проблема встала на уровне – поток 42,25 бит/с 40GE нелья передать по каналам STM-256 (39,81 Гбит/с), разработчики просто отказались от поддержки инкапсуляции потоков Ethernet в потоки SDH STM, выбрав в качестве транспортной среды иерархию OTN (ITU-T G.709). Нужно отметить, что разрабатывающая рекомендацию G.709 группа ITU-T SG15 работала в тесном взаимодействии с рабочей группой IEEE 802.3 HSSG. В результате потоки Ethernet можно инкапсулировать в потоки OTN соответствующих уровней: 10GE – в OTU2 (10,71 Гбит/с), 40GE – в OTU3 (43,02 Гбит/с), 100GE (103,12 Гбит/с) – в OTU4 (111,81 Гбит/с).
Структура физического уровня
Деление на различные уровни (физический, канальный и т.п.) и их подуровни достаточно условно. По сути, это функциональное деление набора процедур, которые должна реализовать аппаратура для передачи данных. И в этом смысле функциональное деление позволяет создавать унифицированные компоненты, причем стандартизованные не только по функциям, но и по интерфейсам. Соответственно, нужно иметь в виду, что описываемые ниже логические подуровни и интерфейсы могут иметь отдельное аппаратное воплощение, а могут и быть реализованными в одной микросхеме или модуле. Например, процедуры МАС-уровня и часть функций физического уровня, независимых от среды передачи, реализуют в одном чипе, а функции, связанные с конкретной средой (оптоволокно, витая пара и т.п.) – в другом.
В новом стандарте MAC-уровень не изменился – он преобразует пакеты верхних уровней в кадры Ethernet: сегментирует, добавляет к заголовку преамбулу, MAC-адрес и контрольную последовательность FCS (рис.1). Физический уровень 40/100GE разделен на пять подуровней: три основных (PCS, PMA, PMD) и два опциональных, отсутствующих в 10GE, – FEC и AN (рис.2). Для различных типов физических интерфейсов используются далеко не все функции подуровней (табл.2).
С МАС-уровня данные попадают на подуровень согласования (RS – Reconciliation Sublayer), где последовательный поток данных преобразуется в параллельный 64-битный (64B) и через логический интерфейс XLGMII /CGMII (40/100 Gigabit Media Independent Interface – независимый от среды передачи 40/100-Гбит/с логический интерфейс) попадает на подуровень кодирования PCS.
На подуровне кодирования (PCS – Physical Coding Sublayer) 64B-поток преобразуется в 66-разрядный поток (66B) (кодирование 64B/66B) и разделяется на несколько потоков (lanes) с меньшей скоростью. При этом поток 40 Гбит/с МАС-уровня за счет введения дополнительных битов расширяется до 41,25 Гбит/с и делится на четыре потока по 10,3125 Гбит/с, а поток 100 Гбит/с расширяется до 103,125 Гбит/с и делится на 20 потоков по 5,15625 Гбит/с. При кодировании (скремблировании) к 64-битовым блокам добавляется так называемый синхрозаголовок в 2 бита.
Поскольку последовательный поток битов распределяется по параллельным потокам, чтобы потом исходный поток восстановить в приемнике, между параллельными потоками должна сохраняться врменная синхронизация. Учитывая скорости и расстояния, предусмотренные стандартом, физические рассогласования неизбежны. Для компенсации временных сдвигов (перекосов) используются специальные выравнивающие маркеры. Это 66-разрядные блоки, добавляемые через каждые 16383 кодовых 66В-блока. Маркеры вставляются в каждый поток строго одновременно. Измеряя временной сдвиг их поступления, приемник способен восстановить синхронность потоков. Кодированные данные поступают на подуровень PMA. Причем для вариантов 40GE стандарт определяет только четыре потока по 10,3125 Гбит/с, для 100GE – только 20 потоков по 5,15625 Гбит/с.
На подуровне подключения к среде передачи (PMA – Physical Medium Attachment) потоки с PCS-подуровня мультиплексируются в требуемое число физических потоков. Для 40GE выходных потоков может быть только четыре, для 100GE – либо 10, либо 4. К подуровню PMA относятся функции восстановления синхронизации в потоках, а также функции тестирования передачи данных – генерацию тестовых последовательностей, формирование петли обратной связи данных для тестирования и т.п.
Соответственно, на РМА-подуровне происходит мультиплексирование PCS-потоков в физические. При этом возможно перемежение (интерливинг) битов входных потоков по выходным (т.е. входные битовые потоки перемешиваются по определенному закону и распределяются по выходным потокам). Стандарт не определяет процедуру бит-мультиплексирования, однако для 100GE реально используются (описаны) схемы мультиплексирования 20 в 10 или 10 в 4 (и наоборот) [7]. Выбор схемы мультиплексирования во многом связан со способом практической реализации аппаратуры.
Для передачи по медной витой паре или по объединительной шине между подуровнями PCS и PMA может быть добавлен подуровень помехоустойчивого кодирования FEC. Каждый поток кодируется независимо от других. Стандарт подразумевает применение циклического кода Файера (FC – Fire Code). Код FC (2112, 2080) добавляет 32-разрядную контрольную последовательность (СRC-32) к каждым 32 блокам данных по 65 бит каждый (при кодировании из 66-битовых блоков удаляется один контрольный бит). Он позволяет исправлять пачки ошибок длиной до 11 бит в каждом потоке, компенсируя потери в линии до 2 дБ [7]. Определить, используется ли FEC-кодирование, позволяют процедуры подуровня автоопределения AN (Auto-Negotiation) (он также применим только для объединительной шины и медный витых пар).
До сих пор мы рассматривали подуровни, не зависящие от среды передачи. На подуровне, зависящем от физической среды передачи (PMD) реализованы процедуры, определяемые конкретным носителем сигналов (типом линии). Последний подуровень – связи со средой передачи (MDI) – реализует физический интерфейс между средой передачи и устройством. По сути, это физический разъем к среде передачи (к оптическому кабелю, медной витой паре и т.п.).
Как мы отмечали, подуровни введены, поскольку соответствующие им функции могут быть реализованы посредством различных физических устройств (микросхем, электронных модулей и т.п.). Следовательно, для связи между ними необходимы стандартизованные интерфейсы. Спецификация IEEE 802.3ba-2010 определяет шесть вспомогательных интерфейсов между подуровнями физического уровня (сервисные интерфейсы): XLGMII/CGMII, XLAUI/CAUI, XLPPI/CPPI. В названии интерфейса буквы XL означают 40 Гбит/с, C – 100 Гбит/с (обозначение номинала скорости в греческой нумерации).
Сервисные интерфейсы опциональны, но рекомендованы к применению и широко используются в стандарте. Они позволяют гибко передавать потоки между разнотипными устройствами, максимально используя возможности оборудования различных производителей. Из них наиболее важны последние два, поскольку в современных ИС одновременно реализуются функции подуровней согласования и кодирования, поэтому в них интерфейс XLGMII/CGMII не используется (остается логическим).
Сервисные интерфейсы XLAUI/CAUI и XLPPI/CPPI предназначены для связи на плате: между микросхемами (ИС-ИС) или между ИС и модулем. Рассмотрим их подробнее.
XLAUI/CAUI (40/100 Gigabit Attachment Unit Interface, интерфейс подключения к устройству) – 40/100 Гбит/с физический самосинхронизирующийся интерфейс подуровня PMA (рис.3). Через него передаются 4 (40GE) или 10 (100GE) независимых 66-битных потоков (10,3125 Гбит/с каждый). Такая схема позволяет использовать уже существующую элементную базу, созданную для 10GE
Интерфейс может использоваться для прозрачной связи ИС-ИС или ИС-модуль, реализующих различные функции подуровня PMA. Длина соединений интерфейса XLAUI/CAUI на печатной плате может составлять порядка 25 см. Интерфейс реализуется посредством дифференциальных пар. Возможно использование одного разъема (связь ИС-модуль), при этом потери в нем не должны превышать 0,5 дБ. В стандарте отмечено, что интерфейс XLAUI/CAUI в варианте "ИС-модуль" применим только для оптических интерфейсов 40/100GE (см. табл.2)
Принципиальная особенность интерфейса – он обеспечивает самосинхронизацию потоков.
Интерфейс XLPPI/CPPI (nPPI) (40/100 Gigabit Parallel Physical Interface) – 40/100 Гбит/с физический параллельный интерфейс между подуровнями PMA и PMD (см. рис.3). Используется только для связи оптическими модулями для передачи потоков по 10,3125 Гбит/с. Поскольку в этом случае синхронизация не требуется, интерфейс nPPI – не самосинхронизирующийся. Соответственно, он используется только в вариантах 40GBASE-SR4/LR4 и 100GBASE-SR10.
Если опциональные сервисные интерфейсы реализуются физически, то стандарт предусматривает определенные контрольные точки измерения времени относительной задержки потоков (SP1-3 для направления передачи, SP4-6 – для направления приема), временные параметры которых нормированы (рис.4).
Хотя стандарт определяет спецификацию сервисных интерфейсов с точностью до битов, байтов и кадров, для удобства реализации ширина потока данных может быть выбрана произвольно, с учетом того, что интерфейс XLGMII / CGMII использует потоки данных шириной 64 бита, для остальных интерфейсов должно соблюдаться число потоков.
Реализация PMD-подуровней для оптических интерфейсов 40/100 GE
Рассмотрим особенности реализации оптических интерфейсов 40/100 Gigabit Ethernet. Интерфейсы 40GBASE-SR4 и 100GBASE-SR10 позволяют передать потоки данных на расстояние 100 м по многомодовому ОВ в первом окне прозрачности (850 нм). Для определенности остановимся на варианте 100GBASE-SR10 – 10 потоков по 10,3125 Гбит/с каждый. Устройство подуровня PMD конвертирует 10 электрических потоков в 10 оптических и передает их на подуровень MDI (в коннектор). Соответственно, при приеме реализуется обратный процесс (рис.5). Для 40-Гбит/с варианта все аналогично, только число потоков 4, а не 10.
Стандарт предусматривает набор из четырех контрольных точек ТР1 – 4 (для каждого направления), для которых нормированы временные и электрические параметры сигналов: TP1 – электрический сигнал на передающей стороне (между PMA и электрическим входом устройства, реализующего функции PMD); TP2 – оптический сигнал в многомодовом патчкорде (50 мкм) на расстоянии 2–5 м от выхода оптического передатчика; TP3 – оптический сигнал на выходе из ММ ОВ в интерфейсе MDI (в коннекторе на входе приемника); TP4 – электрический сигнал на приемной стороне (электрический выход устройства, реализующего функции PMD).
Варианты 40/100GBASE-LR4 и 100GBASE-ER4 – позволяют передать четыре потока на расстояние 10/40 км по ОМ ОВ во втором окне прозрачности (1300 нм). PMD в этом случае реализуется аналогично (рис.6). От вариантов с ММ ОВ ее отличает только наличие мультиплексоров/демультиплексоров WDM.
В случае 100GBASE-LR4/ER4 потоки по 25 Гбит/с мультиплексируются в одно ОМ ОВ посредством четырех несущих с шагом 800 ГГц: 231,4 ТГц (1295,56), 230,6 ТГц (1300,05 нм), 229,8 ТГц (1304,58 нм) и 229 ТГц (1309,14 нм)в соответствии со стандартной частотной сеткой ITU-T G.694.1 с шагом 100 ГГц. Обмен данными происходит в дуплексном режиме по двум ОВ (одно ОВ на одно направление).
В случае 40GBASE-LR4 потоки по 10 Гбит/с мультиплексируются в одно ОМ ОВ посредством четырех несущих с длинами волн 1271, 1291, 1311 и 1331 нм в соответствии со стандартной частотной сеткой CWDM (ITU-T G.694.2) с шагом 20 нм.
Пример практической реализации PMD интерфейса 100GBASE-LR4/ER4 показан на рис.7. Модуль подключается посредством стандартного интерфейса CAUI (10×10 Гбит/с) [8, 9]. В модуле 10 входных потоков (10 Гбит/с) конвертируется в четыре потока по 25 Гбит/с и мультиплексируются в одно ОВ. В направлении приема все происходит в обратном порядке.
Что дальше?
Не успев приступить к массовому внедрению технологий 40/100GE, телекоммуникационный мир смотрит дальше – какая технология станет развитием 100-Гбит/с Ethernet-сетей? Действительно, телекоммуникации развиваются столь быстро, что каждые 18 месяцев требуется удваивать пропускную способность магистральных сетей [8]. В соответствии с этой тенденцией, к 2015 году возникнет потребность в терабитных сетях Ethernet. Поэтому следующим шагом развития может стать появление технологии 400GE. Все предпосылки к этому есть, благо многопотоковая структура 40/100GE вполне допускает масштабирование. Причем масштабирование возможно как по числу потоков (линий передачи, несущих в ОМ ОВ), так и по скорости отдельного трансивера в потоке. Например, мультиплексируя 16 потоков по 25 Гбит/с, можно достичь требуемой скорости в 400 Гбит/с. А 40 таких потоков дадут уже 1 Тбит/с.
Первым шагом в данном направлении может стать создание модулей, электрически подключаемых по каналам со скоростью 25 Гбит/с. Такие модули найдут широкое применение и в оборудовании 100GE – действительно, если 100GE‑трансивер подключать не через 10-потоковый электрический интерфейс (как на рис.7), а посредством четырех потоков по 25 Гбит/с (рис.8) [9], то массогабаритные и энергетические характеристики существенно снизятся. Возможно, через вполне обозримое время 25-Гбит/с модули станут столь же массовыми, как сегодня 10-Гбит/с компоненты.
Возможны и другие направления роста скорости. Например, повышение скорости модуляции на одной несущей – с 25 до 100 Гбит/с. Теоретически это возможно за счет повышения скорости модуляции и увеличения степени мультиплексирования. Но практически такие возможности откроются только с появлением соответствующей коммерческой элементной базы. Отметим, что развиваются и другие направления стандарта – например, 10GE для объединительной шины.
* * *
Таким образом, стандарт IEEE 802.3ab – это не просто новое поколение Ethernet-технологий, но и принципиально новый этап, открывающий путь к дальнейшему росту скоростей. Тут очень многое зависит от производителей элементной базы и оборудования, но они не заставят себя ждать.
Литература
1. IEEE 802.3-2008 – Standard for Information technology – Local and Metropolitan Area Networks – Specific Requirements – Part 3: Carrier Sense Multiple Access with Collision Detection (CSMA/CD): Access Method and Physical Layer Specifications. – IEEE, 26 December 2008.
2. Brad Booth. Higher Speed Ethernet – Overview. – IEEE 802.3 Working Group, San Diego, CA, July 18, 2006. www.ieee802.org/3/cfi/0706_1/CFI_01_0706.pdf.
3. ITU-T G.709/Y.1331. Interfaces for the Optical Transport Network (OTN). – ITU, 12.2009.
4. IEEE 802.3ba-2010. IEEE Standard for Information Technology. Amendment 4: Media Access Control Parameters, Physical Layers and MaNagement Parameters for 40 Gb/s and 100 Gb/s Operation. – IEEE, 22 June 2010.
5. Слепов Н. 10-гигабитный Ethernet: сегодня и завтра. – Первая миля, 2007, №1, с.10–18.
6. J.Roese, M.Tomizava, O.Ishida. Optical Transport Network Evolving with 100 Gigabit Ethernet. – IEEE Communications Magazine, March 2010, vol.50, №3, pp.s28–s34.
7. H.Toyoda, G.Ono, Sh.Nishimura. 100GbE PHY and MAC Layer Implementations. – там же, p. s41–s47.
8. J.D’Ambrosia. 100 Gigabit Ethernet and Beyond. – там же, p. s.6–s.13.
9. C.Cole, D.Allouche, F.Flens, B.Huebner, T.Nguyen. 100GbE- Optical LAN Technologies. – IEEE Communications Magazine Applications Practice, Volume 47, December 2007, p.12–19.
Отзывы читателей
