Собираем Docker-образы для CI/CD быстро и удобно вместе с dapp (обзор и видео)

Автор: admin от 28-03-2017, 10:25, посмотрело: 53

Это вторая публикация, созданная по мотивам моих выступлений на конференциях. Первая была общей и посвящена обзору практик Continuous Delivery с Docker. Новая основана на более прикладном докладе «Собираем Docker-образы быстро и удобно», который прозвучал 8 ноября на конференции HighLoad++ 2016 в секции «DevOps и эксплуатация».

Собираем Docker-образы для CI/CD быстро и удобно вместе с dapp (обзор и видео)

Как и в прошлый раз, если у вас есть возможность потратить ~час на видео, рекомендуем посмотреть его полностью (см. в конце статьи). В ином случае — представляем основную суть в текстовом виде.

Что мы хотим от Docker-образов?

Категория: Админитстрирование » Системное администрирование

 

SQL или NoSQL — вот в чём вопрос

Автор: admin от 27-03-2017, 14:45, посмотрело: 246

Все мы знаем, что в мире технологий баз данных существует два основных направления: SQL и NoSQL, реляционные и нереляционные базы данных. Различия между ними заключаются в том, как они спроектированы, какие типы данных поддерживают, как хранят информацию.

Реляционные БД хранят структурированные данные, которые обычно представляют объекты реального мира. Скажем, это могут быть сведения о человеке, или о содержимом корзины для товаров в магазине, сгруппированные в таблицах, формат которых задан на этапе проектирования хранилища.

Нереляционные БД устроены иначе. Например, документо-ориентированные базы хранят информацию в виде иерархических структур данных. Речь может идти об объектах с произвольным набором атрибутов. То, что в реляционной БД будет разбито на несколько взаимосвязанных таблиц, в нереляционной может храниться в виде целостной сущности.

Внутреннее устройство различных систем управления базами данных влияет на особенности работы с ними. Например, нереляционные базы лучше поддаются масштабированию.

SQL или NoSQL — вот в чём вопрос


Какую технологию выбрать? Ответ на этот вопрос зависит от особенностей проекта, о котором идёт речь.

Категория: Админитстрирование » Системное администрирование

 

Docker и определение доступных ресурсов внутри контейнера

Автор: admin от 27-03-2017, 14:15, посмотрело: 410

Docker и определение доступных ресурсов внутри контейнера

Как объяснить контейнеру docker-а сколько у него есть ресурсов?


К написанию этой небольшой заметки меня подтолкнула статья-перевод Java и Docker: это должен знать каждый и скудный на результаты поиск информации по теме. Я давно использую LXC, который тоже ограничивает ресурсы контейнеров средствами cgroup, и там эта проблема уже решена.

Категория: Админитстрирование » Системное администрирование

 

Интервью с разработчиком из Dropbox Леонидом Васильевым о работе и жизни в Ирландии

Автор: admin от 24-03-2017, 17:55, посмотрело: 86

Site Reliability Engineer в Dropbox Леонид Васильев четыре года живёт и работает в Ирландии. Леонид рассказал, как переехал в Ирландию, почему перешёл из Amazon в Dropbox, как устроен их офис в Дублине, и каким он видит будущее DevOps.

Интервью с разработчиком из Dropbox Леонидом Васильевым о работе и жизни в Ирландии
До переезда Леонид отучился на мат-мехе УрГУ и пять лет проработал в Яндексе

Категория: Админитстрирование » Системное администрирование

 

Визуализация атак на базе ELK ( elasticsearch, kibana, logstash )

Автор: admin от 24-03-2017, 10:05, посмотрело: 138

Доброго времени суток.

В процессе обслуживания большого количества серверов возникает необходимость централизации управления всем зоопарком машин, а так же централизованный сбор логов и аналитика логов на предмет выявления аномалий, ошибок и общей статистики.

В качестве централизованного сбора логов используется rsyslog, а для структурирования и визуализации elasticsearch + kibana. Все бы ничего, но когда количество подключенных машин разрастается, то данных настолько много, что уходит ( уходило ) большое количество времени на их обработку и анализ. Наряду с другими интересными штуками всегда хотелось организовать свой центр безопасности. Этакая мультимониторная статистика с картами, графиками и прочим.

Категория: Админитстрирование » Системное администрирование

 

Luna. Высокоскоростная установка операционных систем

Автор: admin от 24-03-2017, 05:55, посмотрело: 86

Всем привет.


Представляю на суд общественности новую утилиту для высокоскоростного bare-metal provisioning-а северов.


TL;DR


Конкурент xCAT/Warewulf/Rocks. Использует BitTorrent для раздачи образов OC. Поддерживаемые ОС — RHEL-семейство. Debian/Ubuntu — в работе. Самый масштабный тест на данный момент: холодная загрузка HPC кластера из 512 нод производится за 4 минуты. Автоматическое определение имени ноды на базе switch-port пар.
Линк: https://github.com/dchirikov/luna


Чуть больше деталей

Категория: Админитстрирование » Системное администрирование

 

ЦОД Шредингера

Автор: admin от 23-03-2017, 20:15, посмотрело: 96

ЦОД Шредингера


Впервые с модульными ЦОД я столкнулся в профессиональной юности: правда, тогда вместо красивого контейнера со всем жизнеобеспечением внутри была старая бытовка с парой стоек. Кто бы мог подумать, что неполный десяток лет спустя идея станет настолько популярной, что лидеры серверного рынка кинутся в срочном порядке оборудовать собственные технологичные трейлеры.


Предлагаю как следует разобраться в идее модульных и контейнерных ЦОД, и порассуждать на тему их применимости и реальной пользы.

Категория: Админитстрирование » Системное администрирование

 

Миграция инфраструктуры в «облако» по шагам: какие возникают сложности и где

Автор: admin от 23-03-2017, 09:35, посмотрело: 130

Миграция инфраструктуры в «облако» по шагам: какие возникают сложности и где

Мы довольно часто помогаем бизнесу заказчика переехать в «облако». Это совершенно нормальный запрос, и большая часть крупных компаний так или иначе переносит свои мощности. Около 80% случаев приходится на перенос уже виртуализированной инфраструктуры из «домашней» серверной в дата-центр, остальные 20% — это перенос прямо с железа (включая рабочие станции пользователей) в виртуальную среду плюс вынос самого вычислительного узла в «облако».

Давайте расскажу по шагам, как это происходит у нас. Начну с того, что редко кто переезжает сразу всеми сервисами. Обычно сначала уводят некритичные, смотрят пару месяцев, а потом уже переводят всё остальное.

Категория: Админитстрирование » Системное администрирование

 

Проверка Групп размещения (PG) Ceph на непротиворечивость в фоновом режиме и пути восстановления данных

Автор: admin от 22-03-2017, 14:20, посмотрело: 82

Кластер Ceph постоянно осуществляет наблюдение за собой при помощи средств scrub и deep-scrub. Scrub осуществляет проверку атрибутов и размеров объектов. Он является очень быстрым и не слишком требовательным к ресурсам — идеальным средством для ежедневных проверок. Deep-scrub проверяет все контрольные суммы объектов rados алгоритмом CRC32 и все обнаруженные различия в репликах отмечаются в сообщениях как нарушающие согласованность данных.

Операции scrub и deep-scrub являются чрезвычайно ёмкими в отношении ресурсов ввода/ вывода и могут оказывать существенное влияние на производительность кластера. Однако, данные операции должны быть включены чтобы гарантировать целостность и доступность данных. Ceph пытается выполнять операции scrub и deep-scrub когда не перегружен работой. Однако, будучи запущеным, scrub выполняется пока не завершит проверку всех имеющихся Групп размещения (PG).

Категория: Админитстрирование » Системное администрирование

 

Анализ спроса на виртуальные серверы

Автор: admin от 22-03-2017, 14:15, посмотрело: 75

В предыдущей статье я собрал информацию по предложению виртуальных серверов различными компаниями. В настоящей статье будет рассмотрена статистика поисковых запросов на сайте Поиск VPS, для чего было собрано чуть более 500 тысяч запросов от пользователей.

Анализ спроса на виртуальные серверы

Это не те серверы, которые вы ищете

Категория: Админитстрирование » Системное администрирование