Blogerator.org

× Версия для печати

Пора уже добивать старые обещалки, которыми я время от времени кормлю здешнюю публику, поэтому выкладываю свой рассказ и фоторепортаж о дата-центре Facebook в штате Орегон. Выкладываю очень много фоток: времени маловато, поэтому очень надеюсь, что ничего не напутал, прошу заранее прощения если что. Короче, пошёл лид к статье...

В уже уходящем 2012 году социальная сеть Facebook преодолела важный психологический рубеж, достигнув 1 миллиарда активных пользователей, при этом среднее количество просмотров страниц этой социальной сети превысило не менее фантастическое число — 1 триллион в месяц. Несомненно, для компании такого масштаба просто жизненно необходимо иметь собственный дата-центр — первым из которых для Facebook и стал центр обработки данных (ЦОД) в штате Орегон.

Я предлагаю с моей помощью совершить виртуальное путешествие в центральный дата-центр Facebook в уже трижды упомянутом штате Орегон, под катом подробности его устройства и множество фотографий.

(внимание, под катом неслабый трафик!)

В процессе стремительного роста пользовательской базы количество подобных центров постепенно было увеличено компанией до четырех. На данный момент ЦОДы этой социальной сети объединены в один гигантский распределенный кластер, который не только балансирует нагрузку между всеми узлами, но и выполняет функции ускорения доставки контента пользователям из различных географических регионов.

Следует сразу отметить, что, несмотря на впечатляющий рост собственных вычислительных мощностей, Facebook пока не видит возможным отказаться от аренды мощностей сторонних ЦОДов. До сих пор компания достаточно сильно зависит от внешних мощностей, предоставляемых частными дата-центрами в Силиконовой долине и Северной Вирджинии (в частности, это такие крупные операторы, как Digital Realty и DuPont Fabros).

Отчасти это связано с бешеным ростом внутреннего трафика в рамках упомянутого выше кластера: в среднем он удваивается каждые 7 месяцев, кроме того, он демонстрирует дальнейшую тенденцию к росту:

Внешний трафик тоже нарастает, но не такими стремительными темпами

Возможно, причина столь сильной диспропорции в логической схеме организации ЦОДов, где скрывается первое отличие, характерное именно для Facebook, — сильная ролевая централизованность и несимметричность такого кластера.

Вот типичные интерьеры основных серверных боксов, чуть более подробно мы опишем их далее:

Только относительно недавно Facebook приняла кардинальное решение начать свою экспансию за пределы Америки путем построения собственных ЦОД в Европе, тогда как до недавних пор ограничивалась лишь арендой чужих вычислительных площадей в этом крупном регионе. Сигналом к началу подобных серьёзных «внешних инвестиций» послужила статистика пользователей этой социальной сети — впервые, начиная с 2010 года, количество пользователей за пределами США превысило их количество на территории Америки.

Как выразился в связи с этим высокопоставленный топ-менеджер Facebook Том Ферлонг — «Настало время расширяться в Европу».

И вот ровно год назад в Швеции был запущен новый дата-центр Facebook, который открылся на самом севере этой страны — в городе Лулео.

Внизу хронология сборки ангара новейшего дата-центра Facebook в Швеции (фотографии ниже идут с шагом примерно в два месяца):

Кстати, построение и запуск с нуля этого дата-центра было осуществлено менее чем за год по времени, само решение согласовывалось на всех уровнях тоже примерно около года. Этот ДЦ в строю и работает на полную мощность с лета 2012 года.

Вторым вектором внешней экспансии Facebook выбран Тайвань, где идёт подготовка к строительству новейшего супер-мега дата-центра, который, как планируется, станет крупнейшим в Азии. Чтобы оценить масштабы подготавливаемой стройки и заодно подчеркнуть приоритетность азиатского направления для Facebook, добавлю, что площадь будущей серверной станции составит площадь эквивалентную по размерам 180 баскетбольным площадкам. Пока эта стройка находится на стадии согласования проекта и переговоров всех сторон.

Внимание к деталям

Да, подобные дата-центры огромны по площади, здесь просто так не возьмешь запасной блок сервера и не принесёшь его к месту назначения. В случае с Facebook используются собственные специализированные электрокары для перевозки по территории ЦОД сервисной аппаратуры или запасных компонентов (здесь и далее речь будет идти об орегонском ДЦ):

Впрочем, не везде по этой обширной территории можно передвигаться свободно даже самим работникам ДЦ.

В специальных «закрытых зонах» дата-центра установлены отдельные сервера, выделенные для обслуживания финансовых транзакций и чувствительных операций с личными данными. Сюда доступ закрыт большинству персонала ДЦ, такие зоны находятся за решеткой и под круглосуточным видео-мониторингом, все выполняемые операции над такими серверами журналируются независимыми внешними системами и требуют получения предварительного разрешения.

Вот эта зона в Орегоне:

Таблички на клетках честно какбэ предупреждают — не искушайте свою судьбу.

Кстати у всех входящих на такие зоны обязательно одеты специальные визуально идентифицирующие их браслеты, бейджи здесь не используются. Общая схема их использования такова: сначала покупаете контрольные браслеты, затем индивидуализируете их, ну а после они позволяют осуществлять в том числе и визуальный контроль доступа, хотя бы через видеокамеру. Как правило, это браслеты из тайвека или из винила, я себе такой «запиперил» на память, лежал какбэ на видном месте и ничейный — не удержался, каюсь в этом грехе смертном.

Кстати говоря, ведение блога по словам психиатров, это идеальный способ повседневного терапевтического вербального самоанализа — curing writing, или говоря по-русски и проще — способ исповедоваться и облегчения своей тяжкой греховной ноши, но не буду дальше оффтопить читателя своими тараканами, сорри...

Здесь везде просто огромное внимание уделяется мелочам. К примеру, при доставке оборудования в свой самый северный городок Лулео из-за низкой внешней температуры и большой влажности гарантирован резкий перепад температур, и при загрузке из теплых складов это приводит к конденсации, что может негативно сказаться на электронике.

В связи с этим буржуинами-капиталистами обеспечивается специальный бережный температурный режим при доставке своего неказенного оборудования, а также цикл его быстрой профилактической сушки при разгрузке.

Специальная термическая сушильная камера для электроники

Есть и свой собственный цех утилизации вышедших из строя винчестеров, которых за месяц, кстати, накапливается более 1000 штук.

Про бешенную специфику I/O в Facebook мы поговорим отдельно, когда будем рассматривать программное устройство этой махины — эта серия отдельных статей уже пишется.

Вот тогда вам и станет понятно, почему винты здесь сыпятся в таких количествах...

Самое узкое место: электроснабжение

Чтобы осознать масштаб проблемы, давайте начнем с цифр и сравнений. Далеко не самый крупный дата-центр Facebook в Орегоне (округ Крук) сейчас потребляет мощность эквивалентную 40 мегаваттам. Для сравнения — всё население и промышленность округа Круг все вместе потребляют в час пик около 30 мегаватт.

Если же говорить о суммарной потребляемой мощности всех 4 американских дата-центров этой ведущей мировой социальной сети, то это будет примерно 900 миллионов киловатт-часов в год, что составляет примерно одну четвертую от генерируемых мощностей одной из крупнейших американских и мировых гидроэлектростанций — Плотины Гувера (кстати говоря, эта дамба официально признана самым массивным искусственным сооружением, возведенным за всю историю современной цивилизации).

Выходим наружу и побродим вокруг ДЦ:

Есть здесь и непонятные обрывы на земле, хотя как видно дальше повсюду много всяких прикольных табличек:

В области электрификации здесь есть множество необычных решений (я сейчас не об обрывах проводов толкую), назовем некоторые из них.

Во-первых, сервера Facebook содержат адаптированные блоки питания (производство американской компании Power One), которые позволяют работать на нестандартных 277-300 вольтах, взамен более традиционных 210-220 вольт.

Дело в том, что питание подаётся в здание ЦОД сразу с промышленно-транспортным напряжением примерно в 300 вольт, и подобные блоки питания позволяют избежать необходимость промежуточного понижения напряжения и создания традиционного блока распределенного питания. За счет исключения не нужных нескольких трансформаторных станций удается сократить потери энергии на пути от электрической подстанции к серверной ферме со стандартных 11-17 процентов до 2 процентов.

Вот фотографии целой армии страховочных дизельных электрогенераторов:

Система видеонаблюдения спроектирована так, что она позволяет увидеть любую точку внешней части стены ДЦ

Вторая особенность — это повальное использование архитектуры и спецификаций Open Compute Project (OCP) при развертывании своих серверов и сетевых систем.

Напомню, что инициатором создания Open Compute Project является сама Facebook, и главная цель этого открытого проекта — это разработка и документирование общепризнанных спецификаций при проектировании высоконагруженных аппаратных систем, где фиксируются наиболее интересные находки с точки зрения производительности, масштабирования, стоимости и особенно требований в области экологии и потребления электроэнергии.

Подобная открытость является беспрецедентной для такого крупного интернет-бизнеса как Facebook, поскольку компания отвечает за безопасность сотен миллионов своих пользователей по всему миру.

Для сравнения Microsoft запрещает даже фотографировать в своих дата-центрах, не то, что публиковать подробные детали устройства своего оборудования. В частности Ореn Compute Project агрессивно продвигает столь любимый в Facebook форм-фактор — 21-дюймовые серверные слоты и стандарт Open Rack вместо традиционного 19-дюймового аналога.

Такая стойка в «упакованном состоянии» и в полном сборе выглядит вот так:

Cервера Facebook разработаны изначально так, чтобы упростить к ним доступ, для чего используются клипы и плунжерные крепления вместо традиционных винтов. Кроме того, серверы по спецификации Open Compute Project установлены не на базе стеллажей, а на базе полок, таким образом они могут как вдвигаться, так и выдвигаться.

В качестве третьей особенности я бы выделил очень высокую эффективность (КПД) энергообеспечения, которой Facebook справедливо гордится, а также приверженность компании к экологически чистым источникам питания. Впрочем, будем откровенны: несмотря на повсеместно расставленные солнечные панели и ветряки на территории дата-центра, конечно, их вклад в необходимую для работы ЦОДа электроэнергию — мизерный.

Насколько я понимаю, это больше имиджевый шаг, сделанный после долгого преследования экологами конкретно Facebook за так называемый «углеводородный след» — неизбежную плату любых крупных энергетических комплексов. Впрочем, известный писатель Брюс Стерлинг уже давно емко описал этот негативный эффект от масштабной вычислительной деятельности человечества:

«Всякий раз, когда мы нажимает на кнопку Enter, нам следовало бы представлять облачко дыма, поднимающееся над монитором».

Давайте сосредоточимся на заявленных достижениях Facebook, тем более они у него действительно впечатляют. И здесь главный параметр — PUE (Power usage effectiveness) — стандартный показатель энергоэффективности для дата-центра. В общем виде он определяется как соотношение общей суммы потребляемой электроэнергии к объему электроэнергии, расходуемой в чистом виде исключительно на саму сетевую инфраструктуру (чем ниже значение, тем лучше, соответственно PUE=1,0 является минимально возможным). В дата-центрах компании Facebook этот показатель колеблется в диапазоне от 1,05 до 1,18.

Даже освещение в ЦОД полностью реализовано на основе LED-технологий:

Экономия здесь проявляется в каждой мелочи, вот, например, достаточно массивные кулеры, которые монтируются вместо маленьких штатных заводских:

Подбор наиболее оптимального форм-фактора кулеров был осуществлен путем тестирования типичных режимов работы серверов на специальной воздушной машине:

Чтобы лучше оценить итоговые результаты с PUE я приведу такой пример: агентство по охране окружающей среды США в качестве эталонного жесткого ориентира рекомендует всем крупным потребителям электричества укладываться в пределы 1,5, тогда как среднее мировое значение PUE у ведущих мировых дата-центров колеблется между 2.0-2.3. Как видим Facebook смог наладить электропотребление близкое к идеальному по своей эффективности.

~

Продолжение этого фоторепортажа (вторую часть) читайте вот здесь.