Что нам стоит ЦОД построить

Автор: admin от 14-11-2017, 12:30, посмотрело: 47

Что нам стоит ЦОД построить


Этой осенью мы передали заказчику спроектированный и построенный нами ЦОД площадью порядка 250 м2, вместивший около 50 высоконагруженных стоек. История у этого проекта непростая: сначала пришлось исправить кучу ошибок в проектной документации, сделанной другими подрядчиками (а фактически перепроектировать ЦОД), а потом несколько месяцев сражаться за заказ в тендере. Обо всех этих перипетиях наш рассказ под катом.



История проекта



Всё началось с того, что один крупный ритейлер решил построить ЦОД на юге нашей славной Родины. Он должен был дополнить мощности трёх других, уже имевшихся у заказчика дата-центров. Первую версию проекта разработал другой интегратор. Заказчик остался доволен и объявил тендер на строительство, приложив проектную документацию. Мы её внимательно изучили и остались в недоумении: в проекте оказалось больше сотни ошибок и недочётов — от архитектурных до чисто инженерных. Пикантность ситуации заключалась в том, что заказчик предъявил суровые требования к уровню надёжности этого ЦОД, потому что через него должен был проходить огромный объём данных, в том числе конфиденциальных. Но с найденными недочётами требуемая отказоустойчивость осталась бы недостижимой мечтой.



Пришлось спасать ситуацию. Предложили заказчику бесплатно переработать проект — исправить все косяки, а заодно переработать общую смету, заложив продукцию других вендоров, с ценами пониже. Получив «добро», засучили рукава и принялись за работу. На переделку ушел 1 месяц. Наша смета оказалась на 30% дешевле начального варианта. При этом нигде не пришлось ужиматься – учли все требования, в том числе и по надежности.



Дальше была долгая борьба за победу в тендере — сражались почти три месяца. В конце концов заказчик выбрал нас. Кстати, удивительно, что из всех участников тендера только мы предложили переработать проект, остальные собирались строить в соответствии с буквой параграфа.



Реализация



Итак, под ЦОД было выделено помещение площадью порядка 250 м2. Его нужно было заполнить 46 стойками с высоконагруженными серверами и сетевым оборудованием. Общая мощность всей аппаратуры, включая систему охлаждения, тянула на 870 кВт. Мы предусмотрели возможность расширения серверного парка, заложили запас по питанию и охлаждению. Я уже говорил, что заказчику нужна была высокая степень доступности ЦОД, он мог простаивать не более 1,6 часа в год. Поэтому проект соответствует международному стандарту TIA-942 Tier III: можно менять, добавлять и удалять оборудование без остановки ЦОД; все инженерные системы однократно зарезервированы, есть несколько каналов электропитания и охлаждения, но постоянно активен только один из них. В результате коэффициент отказоустойчивости ЦОД равен 99,982%.



Проект мы переделывали с помощью BIM (Building Information Modeling) — методики информационного моделирования здания. Построили трёхмерную модель помещения ЦОД, в котором «смонтировали» фальшпол, «установили» все стойки с оборудованием, «проложили» вентиляционные и кабельные каналы, связали с системой охлаждения на крыше. А самое главное — в рамках этой модели увязали между собой все архитектурные, инженерные и аппаратные компоненты ЦОД: стоит что-то изменить в какой-нибудь системе, как всё, что с ней связано, сразу автоматически перестраивается, вплоть до чертежей и спецификаций. Выглядит захватывающе, особенно если в детстве ты любил возиться с конструкторами и сборными моделями.



Фальшпол в помещении ЦОДа:



Что нам стоит ЦОД построить


Коммуникации крупным планом:



Что нам стоит ЦОД построить


Что нам стоит ЦОД построить


Общий вид ЦОДа:



Что нам стоит ЦОД построить


Предполагалось, что мы будем строить ЦОД в уже подготовленном помещении с евроремонтом. Но ещё ни одна стройка и ни один ремонт в истории человечества не прошли строго по графику и без накладок: субподрядчик не успел всё сделать к сроку. И, чтобы не терять время, пришлось выполнять пятилетку в четыре года. ЦОД находится в офисном здании – дабы никого не смущать шумом перфораторов, болгарок и такой-то матери, все работы вели вечером и ночью.




  • Разработали и установили напольные разгрузочные рамы для крупногабаритного тяжелого оборудования.

  • С помощью специально сконструированных рам усилили стену с оконными проемами, чтобы вешать на неё оборудование (электрощиты и прочее).

  • Доработали и усилили отверстия для прокладки инженерных коммуникаций через стены.

  • Сделали чистовую отделку помещений.

  • Доработали и установили наружные силовые конструкции под трассы и климатическое оборудование.



    Уличная рама под наружные блоки кондиционеров и переход до нее:



    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить
  • Установили фальшпол, СКС, «холодные» коридоры и стойки для серверов. Серверные стойки Conteg рассчитаны на высокую плотность нагрузки — 10+ кВт на стойку. СКС сделана на основе оптических компонентов с использованием претерминированных кабельных сборок (заранее смонтированные, готовые к установке изделия, облегчающие монтаж оптоволоконных сетей).



    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить

  • Установили освещение, проложили силовые кабели, собрали и установили электрощитки и источники бесперебойного питания. Электроснабжение резервировалось по схеме 2N (у каждого компонента есть резервный), а специально заказанные для проекта электрощиты автоматически переключаются с основного на резервный ввод при нештатном отключении питания.



    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить
  • Установили противопожарный комплекс, включая сигнализацию и систему газового пожаротушения.



    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить

  • Установили системы водоснабжения (для пароувлажнителей и кондиционеров), дренажа, кондиционирования (наружные и внутренние блоки, фреоновые трассы). В южных регионах кондиционеры не роскошь, а средство выживания, и поэтому в ЦОДе мы использовали климатическое оборудование STULZ с резервированием по схеме N+1 (N рабочих компонентов и один резервный).



    Что нам стоит ЦОД построить


    Что нам стоит ЦОД построить
  • Наконец, установили компоненты системы мониторинга Conteg. Она «завязана» на пожарную систему, ИБП, кондиционеры, модули управления питанием в стойках, датчики температуры и влажности и так далее.



На всё про всё, включая переработку проекта, ушло около полугода. Все заложенные параметры удалось выдержать, из сметы не выбились, и серверы в новеньком ЦОДе уже молотят терабайты.



Подумываете о построении ЦОДа? Ну вы поняли ;)



Всеволод Воробьев, руководитель направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»

Источник: Хабрахабр

Категория: Программирование » Веб-разработка

Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

Добавление комментария

Имя:*
E-Mail:
Комментарий:
Полужирный Наклонный текст Подчеркнутый текст Зачеркнутый текст | Выравнивание по левому краю По центру Выравнивание по правому краю | Вставка смайликов Выбор цвета | Скрытый текст Вставка цитаты Преобразовать выбранный текст из транслитерации в кириллицу Вставка спойлера
Введите два слова, показанных на изображении: *