Как устроена инфраструктура интернета

Заводы IBM… всё только начинается

Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток.

В некотором смысле MPLS-сеть — жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.

Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.

На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети — Джорджем.

«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет — любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», — рассказывает Пол.

Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.

«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», — рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь.

ИЗМЕНЕНИЕ В ПОТОКЕ ДАННЫХ

Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.

В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.

«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».

ЦЕНТРЫ УПРАВЛЕНИЯ ЦЕНТРА УПРАВЛЕНИЯ СЕТЬЮ

Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.

Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они — те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым — каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».

КАК РАБОТАЕТ ПРОВАЙДЕР ИНФРАСТРУКТУРЫ

Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.

«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид — ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку». Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании — прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».

За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.

«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки — устанавливаем ее, протягиваем все кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher — программа, предназначенная для мониторинга использования сети — прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.

Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.

И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес — около 96 тонн. Срок службы батарей — 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.

В центре установлено 6 генераторов — по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра — 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА — такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива — достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км — цифры, из-за которых Humvee выглядит как Prius.

Завершающий этап — последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома — не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.

Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.

ПОСЛЕДНИЕ 100 МЕТРОВ

Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.

Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.

Сперва это были всего несколько смелых кафе и баров, но затем BT превратила абонентские маршрутизаторы в открытые точки доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний — Wi-Fi сеть в лондонском метро или интересный проект Virgin «умный тротуар» в Чешаме, Бакингемшир.

Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, так почему бы не добавить несколько Wi-Fi точек, чтобы поделиться доступом с людьми?

Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Здесь же  точки доступа установили под землей, чтобы они работали на мощности простого домашнего Wi-Fi.

ВОТ ТАК ИСТОРИЯ

Вот и все дела: в следующий раз, смотря видео на YouTube, вы в подробностях будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, — особенно с вашей стороны — но теперь вы знаете правду: всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах батарей, тысячах литров дизельного топлива, миллионах миль кабелей «последней мили» и излишестве в избытке.

Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, большая надежность и больше мозгов в колбах. Хорошо жить в наше время.

Боб Дормон (Bob Dormon)

№ 43, 25.10.2019