» » Блейд-коммутация в шасси Dell PowerEdge M1000e

 

Блейд-коммутация в шасси Dell PowerEdge M1000e

Автор: admin от 29-10-2015, 14:18, посмотрело: 983

Сегодня мы расскажем о коммутаторах Dell Networking MXL и PowerEdge M I/O Aggregator для установки в модульное шасси для блейд-серверов Dell PowerEdge M1000e, предназначенных для скоростной связи серверов как в пределах шасси, так и с соседними группами серверов, системами хранения данных и для подключения к ядру сети. Они поддерживают новейшие технологии для систем коммутации и благодаря этому могут быть использованы в составе сложных сетевых архитектур не только для увеличения скорости обмена данными и создания отказоустойчивых конфигураций, но и для конвергенции сетей передачи и хранения данных. Каждый из них обеспечивает производительность 1,28 Тбит/с в дуплексном режиме, поддерживает до 6 портов 40 Гбит/с и оснащен двумя слотами для установки модулей расширения, поддерживающих различные сетевые интерфейсы. Однако, как видно из названия, один из них относится к линейке сетевого оборудования Dell Networking, а другой к серверной Dell PowerEdge. Почему – разберемся при их изучении. Начнем с блейд-шасси.

Блейд-коммутация в шасси Dell PowerEdge M1000e


Корпус PowerEdge M1000e

Знакомство

Модульное шасси для блейд-серверов PowerEdge M1000e на данный момент является флагманом компании на рынке блейд-решений. Гибкость конфигурирования, компактность, централизованное управление, возможность наращивания мощности в процессе эксплуатации и внедрения новых технологий без полного переоснащения серверных шкафов – вот основные преимущества использования решений на основе блейд-технологии. Развивается она уже давно, и PowerEdge M1000e – зрелое, законченное решение с богатым выбором опций для комплектации. Кратко рассмотрим его устройство.

С фронтальной стороны находится шестнадцать отсеков для установки серверов половинной высоты, а также других совместимых устройств. Например, Dell выпускает iSCSI системы хранения данных для установки непосредственно в это шасси. Самый популярный формат серверов — половинной высоты, как на фотографии, однако бывают как полной высоты, так и в четверть слота. Таким образом, возможна установка до 32 серверов в одно шасси размером 10U. Также на фронтальной панели находится интерактивный мини-дисплей и порты USB и VGA для подключения клавиатуры, мыши и дисплея.

На тыльной стороне размещены шесть отсеков для блоков питания (снизу) и девять для вентиляторов, все с горячей заменой. Сверху размещаются KVM с возможностью подключения к удаленной консоли по витой паре и два отсека для Chassis Management Controller, обеспечивающего интерфейс для полного управления как шасси, так и установленного в него оборудования. Между вентиляторами расположены шесть отсеков для установки сетевых коммутаторов.

Основная часть корзины – мидплейн, через него осуществляется питание установленного оборудования и обмен данными. На каждом сервере имеются сетевые порты, предустановленные LOM либо добавленные при помощи карт расширения формата Mezzanine, на коммутаторах для корзины имеются внутренние порты, все они коммутируются через мидплейн. Скорость обмена данными по нему может достигать 8,4 Тбит/с в дуплексном режиме. При установке соответствующих сетевых коммутаторов поддерживается до 32 внутренних серверных портов на слот.

В качестве вариантов выбора Dell предлагает полтора десятка устройств разной степени сложности и мощности, а также поддерживающих разные технологии коммутации. Это Ethernet-коммутаторы собственного производства и Cisco, Fibre Channel коммутаторы Brocade и InfiniBand от Mellanox.

Внешняя коммутация
На схеме видно, что два слота А на шасси предназначены для коммутаторов Ethernet, тогда как B и C могут содержать модули с поддержкой Fibre Channel и InfiniBand. Также здесь видны два, для защиты от сбоев, модуля CMC, подключаемые к выделенной сети управления. Один модуль обеспечивает полную функциональность, второй находится в горячем резерве. Между ними KVM, на котором порт RJ-45 служит не для подключения к сети, а для удаленной консоли. Два USB и VGA – для локальной.

Блейд-коммутация в шасси Dell PowerEdge M1000e

Внутренняя коммутация
На рисунке показана схема внутренней коммутации для серверов половинной высоты. Здесь как раз показаны интерфейсы, которые могут присутствовать на таких серверах: встроенный двух- или четырехпортовый Ethernet-адаптер с поддержкой скорости 1 или 10 Гбит/с и карты расширения формата Mezzanine, которые могут поддерживать до двух портов Fibre Channel и InfiniBand или до четырех портов Ethernet.

Блейд-коммутация в шасси Dell PowerEdge M1000e

На следующем рисунке представлено распределение портов в случае использования четырехпортовых Ethernet-адаптеров в серверах при использовании блейд-коммутаторов с 32 внутренними портами, например, Dell Networking MXL.

Блейд-коммутация в шасси Dell PowerEdge M1000e

Dell Networking MXL и PowerEdge M I/O Aggregator

Общее
Оба коммутатора поддерживают до 32 внутренних портов 10 GbE для обмена данными между серверами. Оба оснащены двумя портами 40 GbE QSFP+ и двумя слотами расширения для совместимых модулей. На лицевой панели каждого находится 2 порта USB – один для консоли и один для устройства хранения данных.

Оптическими портами поддерживается как подключение трансиверов для последующей коммутации оптоволоконными кабелями, так и прямое соединение специальным кабелем, поддерживающим диапазон скоростей 10 Гбит/с или 40 Гбит/с, но не предназначенным для передачи сигнала на большие расстояния. В качестве опций доступны кабели-разветвители 40 Гбит/с в 4 по 10 Гбит/с. На рисунке представлены поддерживаемые модули расширения, трансиверы и кабели для них.

Блейд-коммутация в шасси Dell PowerEdge M1000e

Модуль с четырьмя портами 10GBASE-T RJ-45 можно установить только один, во второй слот при этом можно поставить любой другой модуль расширения. Кроме этого ограничения, все остальные модули можно одновременно использовать в любых доступных комбинациях, как разные, так и одинаковые.

Различия

Блейд-коммутация в шасси Dell PowerEdge M1000e

PowerEdge M I/O Aggregator
Предназначен для быстрого ввода в эксплуатацию шасси М1000е и подключения к сетям, построенным на основе оборудования различных производителей, поддерживающего разные сетевые технологии. Для ввода в эксплуатацию требуется распаковать коммутатор, установить его в слот шасси, назначить IP-адрес и пароль администратора и подключить uplink-порты к стоечному коммутатору или коммутатору ядра сети. На стоечном коммутаторе нужно настроить LAG в режиме LACP. При использовании конвергенции все настройки DCB (ETS и PFC) новое устройство M I/O Aggregator возьмет со стоечного коммутатора, используя протокол DCBX. Для начала работы не требуется установка дополнительных лицензий или предварительная настройка блейд-коммутатора.

По умолчанию все порты коммутатора активны и все VLAN на них тегированные. Если необходимо какие-то порты определить нетегированными в данном VLAN, это можно сделать через простой графический интерфейс, предоставляемый модулем СМС. Это, однако, не значит, что более тонкое конфигурирование устройства невозможно – оно поддерживает широкий спектр возможностей, доступна командная строка для администрирования.

Dell Networking MXL
Коммутатор поддерживает динамические протоколы маршрутизации, доступные в Dell Networking Operating System 9 (OS9). Это полностью соответствующая отраслевым стандартам операционная система, управляемая через командную строку и предоставляющая администратору широкий спектр возможности тонкой настройки. Она похожа на Cisco IOS и поддерживает PVST+ для интеграции с ней.

MXL поддерживает организацию стека, в состав которого могут входить до шести устройств, как размещенных внутри одного корпуса М1000е, так и в разных корпусах.

Кроме отказоустойчивости это дает высокую скорость обмена данным между серверами в разных корпусах и возможность обращаться к коммутаторам в стеке как к единому сетевому устройству, с одним сетевым адресом и общими настройками. Подключение осуществляется по технологии «кольцо», т.е. первый и последний участник сборки должны быть соединены между собой.

Если корпус один, то обе разновидности блейд-коммутаторов могут поддерживать стек, создаваемый в пределах одного М1000е для резервирования и распределения нагрузки. Такой стек называется горизонтальным – кабели в нем именно так и расположены. Вертикальным называется стек, содержащий в своем составе до 6 коммутаторов MXL, установленных в три разных шасси в составе одной стойки. Организуется он как «кольцо». Все оборудование, находящееся в трех М1000е в пределах стойки, в случае такого подключения оказывается в составе единой физической сети, агрегатором которой выступает стек из MXL. Извне коммутаторы, входящие в стек, выглядят вообще единым устройством, с одинаковыми настройками, предоставляющим единый набор сервисов и даже имеющим один IP-адрес. Впрочем, с точки зрения устойчивости к сбоям, предпочтительно в каждом блейд-шасси использовать по два стека, объединяющие коммутаторы из разных шасси (см. рисунок)

Блейд-коммутация в шасси Dell PowerEdge M1000e

Альтернативой стеку, повышающей отказоустойчивость, может быть использование на двух коммутаторах MXL в блейд-шасси функционала Dell Virtual Link Trunking (VLT) (об этом мы подробно писали здесь). Тогда блейд-серверы в шасси можно подключать к двум MXL с использованием NIC тиминга LACP, а также стоечные коммутаторы могут подключаться к двум блейд-коммутаторам в шасси с использованием лишь одного LAG. Обычно на MXL для организации VLTi линка используют два встроенных порта 40 GbE, объединенные в LAG.

Пример настройки стека MXL
В данном примере приведена конфигурация стека с использованием двух коммутаторов MXL в фабрике A1 (MXL-A1) и A2 (MXL-A2), объединенных в стек двумя портами fortyGig 0/33 и 0/37.

Необходимо учитывать следующую особенность стека. При обновлении программного обеспечения DNOS на стеке все коммутаторы стека будут перегружены. Данную процедуру необходимо выполнять в часы наименьшей нагрузки. Если же это недопустимо, то рекомендуется использовать вместо стекирования технологию Virtual Link Trunking (VLT).

Подготовка коммутаторов:

  • Если версии DNOS на коммутаторах отличаются, необходимо обновить их, чтобы все коммутаторы в стеке имели одинаковую версию DNOS. Проверка версии с помощью команды

    show version

    .

  • Коммутаторы должны быть загружены.

  • Кабели для стекирования не должны быть подключены.


Далее необходимо перевести порты коммутаторов в режим стекирования.

Проверим, что порты для стекирования еще не сконфигурированы на коммутаторе MXL-A1:



MXL-A1#sho system stack-ports
Topology: Stand alone
Interface Connection Link Speed Admin Link Trunk
(Gb/s) Status Status Group
------------------------------------------------------------------



Обычно для стекирования используются два встроенных порта 40 GbE. Это порты fortyGig 0/33 и 0/37. Соответствие физических портов коммутатора номерам stack-group показано на рисунке ниже:

Блейд-коммутация в шасси Dell PowerEdge M1000e



MXL-A1(conf)#stack-unit 0 stack-group 0
MXL-A1(conf)#stack-unit 0 stack-group 1



Для детерминированного выбора мастера стека рекомендуется настраивать приоритеты на каждом коммутаторе, участвующем в стеке. Мастером становится коммутатор с наибольшим приоритетом:



MXL-A1(conf)#stack-unit 0 priority 14



Проверим, что порты для стекирования еще не сконфигурированы на коммутаторе MXL-A2:



MXL-A2#sho system stack-ports
Topology: Stand alone
Interface Connection Link Speed Admin Link Trunk
(Gb/s) Status Status Group
------------------------------------------------------------------



Настроим порты стекирования и приоритет на коммутаторе MXL-A2:



MXL-A2(conf)#stack-unit 0 stack-group 0
MXL-A2(conf)#stack-unit 0 stack-group 1
MXL-A2(conf)#stack-unit 0 priority 1



После этого необходимо сохранить конфигурацию и перегрузить оба коммутатора:



MXL-A1#wr
MXL-A1#reload
MXL-A2#wr
MXL-A2#reload



Дождитесь перезагрузки коммутаторов и подключите два порта стекирования между коммутаторами кабелями 40GbE QSFP+ Direct Attach или оптическими трансиверами и оптическими кабелями:
fortyGig 0/33 на коммутаторе MXL-A1 fortyGig 0/33 на коммутаторе MXL-A2
fortyGig 0/37 на коммутаторе MXL-A1 fortyGig 0/37 на коммутаторе MXL-A2

Проверьте на мастере стека, что коммутаторы объединились в стек:



MXL-A1#sho system brief
Stack MAC : d0:67:e5:cc:8e:f0
Reload Type : normal-reload [Next boot : normal-reload]
-- Stack Info --
Unit UnitType Status ReqTyp CurTyp Version Ports
------------------------------------------------------------------------------------
0 Management online MXL-10/40GbE MXL-10/40GbE 8.3.16.4 56
1 Standby online MXL-10/40GbE MXL-10/40GbE 8.3.16.4 56
2 Member not present
3 Member not present
4 Member not present
5 Member not present

MXL-A1#sho system stack-ports
Topology: Ring
Interface Connection Link Speed Admin Link Trunk
(Gb/s) Status Status Group
------------------------------------------------------------------
0/33 1/37 40 up up
0/37 1/33 40 up up
1/33 0/37 40 up up
1/37 0/33 40 up up



Дополнительную информацию по стекированию коммутаторов MXL можно найти в данном документе.

Если простота не главное, то возможностей больше
Насчет невозможности организации стека из шести M I/O Aggregator следует сделать уточнение – при базовых настройках из коробки. При перенастройке через командную строку для них доступны четыре режима работы:

  • Standalone mode (SMUX) – режим по умолчанию, с простой конфигурацией.

  • VLT mode – режим участника домена VLT, о котором мы рассказывали ранее.

  • Programmable MUX mode (PMUX) – полностью настраиваемый через командную строку режим, с возможностью гибких настроек.

  • Stack mode – режим поддержки стека по технологии «кольцо», до шести устройств в стеке.



В общем, похожи MXL и M I/O не только внешне.

Несколько слов из практики монтажа
Поясним некоторые термины и магические цифры. Высота корпуса М1000е составляет 10U, они пригодны для плотного монтажа. В условиях HPC (High Performance Computing) свободное место в серверной и в каждом из шкафов столь же ценно и так же быстро заканчивается, как и свободное место на жестком диске рабочего компьютера. Посему считается хорошей практикой использовать стойки и шкафы высотой 42U-47U. Стойка в целом обычно является в некотором роде самодостаточным юнитом, даже когда она далеко не одна. Поэтому вниз монтируется самое тяжелое оборудование – ИБП, занимающий обычно до 10U. Далее идут серверные корпуса, и М1000е помещается как раз 3 штуки. Опционально на высоте 20U при таком монтаже может быть установлена консоль высотой 1U, выдвижная, для непосредственной работы с серверами и прочим оборудованием. Как мы отмечали, небольшие СХД можно установить непосредственно в шасси, большие займут еще 2U-5U сверху.

Конвергенция
Поскольку оба рассматриваемых коммутатора поддерживают FCoE и карты расширения с FC портами и могут напрямую работать с поддерживающими этот протокол передачи данных системами хранения, то при их использовании есть возможность непосредственного подключения таких СХД к общей конвергентной сети.

Оба рассматриваемых коммутатора поддерживают конвергенцию FCoE в режиме FCoE транзита, а при установке модуля с портами FC возможность подключения к существующей FC фабрике в режиме NPIV Proxy Gateway, либо для небольших инсталляций типа «ЦОД в коробке» поддерживают подключение FC СХД напрямую (см. рисунок). При использовании конвергенции можно сэкономить на HBA в блейд-серверах и FC блейд-коммутаторах в шасси.

Блейд-коммутация в шасси Dell PowerEdge M1000e

Пример конфигурации коммутатора MXL
И в завершение мы бы хотели привести пример рабочей конфигурации блейд-коммутатора Dell Networking MXL, установленного в шасси Dell PowerEdge M1000e.



Источник: Хабрахабр

Категория: Программирование, Системное администрирование

Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

Добавление комментария

Имя:*
E-Mail:
Комментарий:
Полужирный Наклонный текст Подчеркнутый текст Зачеркнутый текст | Выравнивание по левому краю По центру Выравнивание по правому краю | Вставка смайликов Выбор цвета | Скрытый текст Вставка цитаты Преобразовать выбранный текст из транслитерации в кириллицу Вставка спойлера
Введите два слова, показанных на изображении: *