Rambler's Top100
 
 
Статьи ИКС № 3 2021
Джейсон БАТИСТА  Джеймс ЯНГ  Кен ХОЛЛ  Мэтт БАЛЬДАССАНО  20 октября 2021

Готовимся к 400G, ждем 800G

Объем трафика, поступающего в ЦОДы, растет, а новое поколение приложений требует снижения задержки до уровня миллисекунды. Эти тенденции формируют новые вызовы для инфраструктуры дата-центров.

Главный показатель успеха любой компании – ее способность адаптироваться к изменениям окружающей среды. Назовем это живучестью. Способность ЦОДов адаптироваться и выживать проверяется постоянно – ужесточением требований к пропускной способности, емкости и величине задержки при переходе на более высокие скорости передачи данных в сетевой инфраструктуре. В течение последних нескольких лет мы наблюдали, как скорость соединений в сетях ЦОДов увеличилась с 25G/100G до 100G/400G. За каждым скачком скорости следует короткое плато, которое дает менеджерам ЦОДов возможность подготовиться к следующему прыжку. Сейчас ЦОДы готовятся взять «высоту» 400G.

Удовлетворить растущие требования к снижению задержки и увеличению пропускаемого объема трафика в сети можно четырьмя основными способами:
  • снизить уровень потерь сигнала в канале связи;
  • уменьшить длину канала;
  • увеличить скорость передачи сигнала;
  • расширить размер сетевой «трубы».
Дата-центры в какой-то степени применяют все эти подходы, но основное внимание – особенно в гиперЦОДах – уделяется увеличению числа оптических волокон. Исторически магистральные кабели содержали 24, 72, 144 или 288 волокон. Сегодня в таких кабелях используются уже 1728, 3456 или даже 6912 волокон – в 20 с лишним раз больше, чем ранее.

Когда число волокон растет

Большое количество волокон в сочетании с компактной конструкцией кабеля особенно важно при организации соединений между ЦОДами (Data Center Interconnect, DCI). Магистральные DCI-кабели с более чем 3000 волокон стали уже типовыми для соединения гиперЦОДов, и операторы планируют удвоить этот показатель в ближайшем будущем. Внутри ЦОДа наиболее высокие требования предъявляются к магистральным кабелям, которые соединяют коммутаторы ядра сети между собой или телекоммуникационные комнаты (meet-me rooms) и коммутаторы spine.

Кабели с большим числом волокон занимают много ценного пространства в кабель-каналах, а их толщина затрудняет обеспечение должной производительности из-за ограничений на минимальный радиус изгиба. Чтобы преодолеть эти проблемы, производители кабелей переходят на рулонные ленточные кабели и волокно диаметром 200 мкм.

Рулонные ленточные волоконно-оптические кабели

Эволюция методов укладки волокон в кабеле позволяет ЦОДам использовать больше волокон, не увеличивая занимаемое кабельной проводкой пространство. Рулонные ленточные волоконно-оптические кабели – одно из последних звеньев в цепочке инноваций.

Конструкция рулонного ленточного кабеля частично основывается на более ранней разработке, ленточном кабеле с центральной трубкой, который был представлен в середине 1990-х гг. и использовался главным образом для внешних сетей. Он содержал ленточные сборки до 864 волокон в одной центральной буферной трубке. В таком кабеле волокна сгруппированы и соединены непрерывно по всей его длине, что увеличивает жесткость конструкции. Это мало влияет на развертывание во внешних сетях, но внутри ЦОДов жесткий кабель нежелателен из-за серьезных ограничений на геометрию прокладки.

В рулонном ленточном кабеле точки скрепления волокон расположены с некоторым промежутком, образуя структуру, напоминающую паутину (рис. 1). Такая структура делает ленту более гибкой, позволяя загружать до 3456 волокон в один двухдюймовый (примерно 5 см) канал, т.е. вдвое плотнее, чем в кабелях с традиционной упаковкой волокон. Это также помогает уменьшить радиус изгиба, что облегчает работу с новыми кабелями в стесненных условиях ЦОДа.
Источник: журнал ISE 
Рис. 1. Точки скрепления волокон в ленточном кабеле расположены с некоторым промежутком

Внутри кабеля прерывисто связанные волокна приобретают физические характеристики свободно уложенных волокон, которые легко изгибаются, что также облегчает прокладку в ограниченном пространстве. Кроме того, в рулонных ленточных кабелях не используется гель, благодаря чему подготовка к сращиванию выполняется быстрее и проще и, следовательно, снижаются трудозатраты. При этом прерывистое скрепление обеспечивает выравнивание волокон, необходимое для сращивания сразу множества волокон в ленте.

Уменьшение диаметра кабеля

В течение десятилетий номинальный диаметр почти всех оптических волокон для систем связи составлял 250 мкм. С ростом спроса на кабели меньшего диаметра ситуация начала меняться. Многие конструкции кабелей практически достигли предела уменьшения диаметра при использовании стандартного волокна. Но волокно меньшего диаметра позволяет дополнительно уменьшить размеры кабеля. В настоящее время в рулонных ленточных кабелях и в кабелях для прокладки в микроканалах применяются волокна диаметром 200 мкм.

Важно подчеркнуть, что единственная часть волокна, которая подверглась изменению, – это буферное покрытие (рис. 2). В волокнах толщиной 200 мкм диаметр сердцевины, как и в обычных волокнах, составляет 125 мкм для сохранения оптических характеристик и совместимости при сращивании. После снятия буферного покрытия процедура сращивания для 200-мкм волокна такая же, как и для его 250-мкм аналога.
Источник: журнал ISE
Рис. 2. Волокно диаметром 200 мкм имеет ту же сердцевину 125 мкм, что и волокна 250 мкм

Такие технологические решения, как рулонный ленточный кабель и 200-мкм волокно, активно применяются гиперЦОДами. В ЦОДах, где расстояния между коммутаторами нижнего уровня (leaf) и серверами намного меньше, а плотность соединений – выше, основное внимание уделяется капитальным и эксплуатационным затратам на оптические модули.

Трансиверы и коннекторы для 400G

Многие ЦОДы ориентируются на более дешевые приемопередатчики с лазером VCSEL, которые работают по многомодовым волокнам. Другие выбирают гибридный подход – используют одномодовые волокна на верхних уровнях ячеистой сети, а многомодовые – для подключения серверов к коммутаторам leaf. Сегодня все больше объектов внедряют технологию 400GE, а 50G- и 100G-оптические соединения с серверами становятся нормой, и ЦОДы начинают нуждаться в обоих типах волокна: одномодовом и многомодовом.

Рынок оптических решений для 400G определяется балансом стоимости и производительности. В 2017 г. для модулей 400GE первого поколения, которые предназначались в основном для маршрутизаторов и транспортных клиентских интерфейсов систем спектрального уплотнения DWDM, был выбран форм-фактор CFP8. Размеры модуля CFP8 немного меньше, чем размеры модуля CFP2. В нем используются схемы электрического ввода-вывода CDAUI-16 (16 x 25G NRZ) и CDAUI-8 (8 x 50G PAM4). 

Впоследствии модули 400G второго поколения начали изготавливать в форм-факторах QSFP-DD и OSFP (рис. 3). Разработанные для коммутаторов ЦОДов с высокой плотностью портов, эти модули размером с большой палец обеспечивают емкость 12,8 Тбит/с в пространстве 1RU (32 порта 400GE) и поддерживают только схему CDAUI-8.
Источник: www.prolabs.com
Рис. 3. Различные варианты трансиверов для 400GE

Модули CFP8, QSFP-DD и OSFP подключаются в «горячем» режиме, но не все модули приемопередатчиков 400GE таковы. Некоторые из них монтируются непосредственно на главной печатной плате, что обеспечивает более высокую плотность портов. Несмотря на это преимущество, индустрия Ethernet продолжает отдавать предпочтение подключаемой оптике для систем 400GE. Такие решения легче обслуживать, и они предоставляют возможность масштабирования по принципу «плати по мере роста».

Для реализации коротких каналов 400G на многомодовом (ММ) волокне имеются различные варианты коннекторов (рис. 4). Стандарт 400GBASE-SR8 позволяет использовать 24-волоконный коннектор MPO (лучше подходит для унаследованных приложений) или однорядный 16-волоконный MPO, который считается наиболее предпочтительным вариантом для подключения серверов, разворачиваемых для облачных платформ. Другой вариант, 400GBASE-SR4.2, предполагает применение однорядного коннектора MPO-12 с двунаправленной сигнализацией, что делает его отличным выбором для соединений между коммутаторами. 400GBASE-SR4.2 – это первый стандарт IEEE, рассчитанный на двунаправленную сигнализацию на ММ-волокнах, и он предусматривает применение кабелей OM5. Волокно OM5 расширяет многоволновую поддержку для таких приложений, как BiDi, позволяя сетевым архитекторам на 50% увеличивать дальность каналов по сравнению с OM4.
Источник: CommScope 
Рис. 4. Основные оптические коннекторы в сетях ЦОДов

Другие соединители, на которые стоит обратить внимание, – это волоконно-оптические разъемы с очень малым форм-фактором (VSFF) SN и MDC. Они используют технологию 1,25-мм наконечника (ferrule) и могут обеспечивать четыре дуплексных соединения (рис. 5). Однако эти соединители не взаимозаменяемы и конкурируют за то, чтобы стать стандартом VSFF.
Источник: CommScope 
Рис. 5. Новые типы коннекторов в сетях ЦОДов: с малым и очень малым форм-факторами

Не пропустите 800G

Для любого, кто работает в отрасли ЦОДов более или менее продолжительное время, переход на 400G – еще одна ступень эволюции этих объектов. Эксперты прогнозируют, что оптика 800G станет необходимой уже в течение следующих двух лет. В сентябре 2019 г. была сформирована группа MSA 800G Pluggable для разработки новых решений, в том числе недорогого многомодового модуля 8 x100G SR8 для пролетов длиной 60–100 м. Цель состоит в том, чтобы вывести на рынок решение 800G SR8, которое обеспечило бы ЦОДы экономически эффективными продуктами для серверных приложений. Подключаемый модуль 800G, помимо прочего, позволит увеличить радиус работы коммутатора.

Тем временем целевая группа IEEE 802.3db работает над недорогими решениями на базе VCSEL-лазеров для передачи 100G на одной длине волны и уже продемонстрировала возможность достичь при такой передаче дальности 100 м на ММ-волокне OM4. В случае успеха эта работа позволит отказаться от подключения серверов в стойке по DAC-кабелям и перейти к архитектуре MoR/EoR с коммутаторами увеличенного радиуса действия. Это обеспечит недорогое оптическое подключение и расширит долгосрочную прикладную поддержку устаревших кабелей с ММ-волокнами.

Организации по стандартизации и индустрия тесно взаимодействуют, создавая перспективные решения, которые могут привести ЦОДы к скоростям 400G и 800G. Однако устранение технологических барьеров – это только половина проблемы. Другая – это выбор правильного времени для внедрения. Когда циклы обновления инфраструктурного оборудования составляют два-три года, а новые технологии «поступают» в сеть со все возрастающей скоростью, операторам ЦОДов становится все труднее правильно рассчитать время модернизации. Ошибка же обходится очень дорого.

Хотя детали перехода на все более высокие скорости часто обескураживают, их обсуждение помогает представить процесс в перспективе. Чтобы поддерживать более высокие скорости, требуются подходящие среды передачи. При выборе оптических модулей, которые наилучшим образом отвечают потребностям вашей сети, начните с конца. Чем точнее вы сможете предвидеть необходимые сервисы и сетевую топологию, необходимую для их предоставления, тем лучше сможете подготовить сеть для поддержки будущих приложений.

А что между ЦОДами?

Региональные кластеры ЦОДов создаются все чаще, и высокопроизводительные и недорогие DCI-соединения становятся все более актуальными. Появляются новые стандарты IEEE, которые описывают множество более дешевых вариантов, реализующих принцип plug-and-play для соединений «точка – точка».

Трансиверы, основанные на традиционной четырехуровневой амплитудно-импульсной модуляции (PAM4) для прямого детектирования, способны поддерживать связь до 40 км, обеспечивая непосредственную совместимость с недавно представленными коммутаторами 400G. Но имеются и другие разработки, которые предоставляют аналогичную функциональность при использовании традиционных транспортных DWDM-каналов.

Там, где требуется дальность 40–80 км и более, когерентные системы с расширенной поддержкой «дальнобойной» оптики, скорее всего, захватят большую часть соответствующего рынка высокоскоростной связи.

Когерентная оптика преодолевает ограничения, связанные с хроматической и поляризационной дисперсиями, что делает ее идеальным выбором для более протяженных линий связи. Такие решения традиционно были сильно кастомизированы (и дороги), требуя специальных «модемов» в отличие от оптических модулей plug-and-play.

По мере развития технологий когерентные решения, вероятно, станут более компактными и менее дорогими. В конце концов относительная разница в стоимости может уменьшиться до такой степени, что выгода от применения этой технологии будет ощущаться и для более коротких каналов связи.

Целостный подход к внедрению более высоких скоростей

Переход к более высоким скоростям в ЦОДе происходит поэтапно. По мере развития приложений и сервисов скорость работы систем хранения и серверов также должна увеличиваться. Шаблонный подход к выполнению периодически повторяющихся обновлений поможет сократить время и затраты, необходимые для планирования и реализации изменений. Мы рекомендуем целостный подход, при котором коммутаторы, оптика и волоконные кабели работают как единая скоординированная инфраструктура передачи данных.

В конечном счете то, как все эти компоненты будут работать вместе, определит способность сети надежно и эффективно поддерживать новые приложения. Сегодняшняя задача – внедрение 400G, завтрашняя – 800G или даже 1,6Т. Однако фундаментальные требования к высококачественной волоконно-оптической инфраструктуре неизменны, несмотря на изменение сетевых технологий.

Джеймс Янг, директор по корпоративным ЦОДам, CommScope
Джейсон Батиста, архитектор ЦОДов, CommScope
Кен Холл, архитектор решений для облачных ЦОДов, CommScope
Мэтт Бальдассано, технический директор, CommScope

Из электронной книги компании CommScope What’s Next for the Data Center: 2021 Trends to Watch.

Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!