Мониторинг как сервис: модульная система для микросервисной архитектуры

Автор: admin от 11-08-2017, 16:05, посмотрело: 780

Сегодня на нашем проекте, помимо монолитного кода, функционируют десятки микросервисов. Каждый из них требует того, чтобы его мониторили. Делать это в таких объемах силами DevOps проблематично. Мы разработали систему мониторинга, которая работает как сервис для разработчиков. Они могут самостоятельно писать метрики в систему мониторинга, пользоваться ими, строить на их основании дашборды, прикручивать к ним алерты, которые будут срабатывать при достижении пороговых значений. С DevOps — только инфраструктура и документация.

Этот пост — расшифровка моего выступления с нашей секции на РИТ++. Многие просили нас сделать текстовые версии докладов оттуда. Если вы были на конференции или смотрели видео, то не найдете ничего нового. А всем остальным — добро пожаловать под кат. Расскажу, как мы пришли к такой системе, как она работает и как мы планируем её обновлять.

Мониторинг как сервис: модульная система для микросервисной архитектуры ->

Категория: Админитстрирование / Системное администрирование

 

1C и ETL

Автор: admin от 4-08-2017, 10:05, посмотрело: 426

1C и ETL

ETL и 1С. Извлечение данных


Первый взгляд


Если вы, как ETL-специалист столкнулись с необходимостью получать данные из 1С, то это первое, что вы можете увидеть, попытавшись разобраться со структурой БД (это из случае MSSQL, для других СУБД картинка аналогичная):

1C и ETL

Бизнес-смысл в наименованиях таблиц и полей отсутствует, внешних ключей нет.

Пару ласковых о самой 1С. Реальные таблицы СУБД в ней скрыты за объектами, которые видит разработчик, который часто не догадывается о реальной структуре базы. Да… И весь код на русском языке. Кроме того, есть перечисления, строковые представления которых с помощью SQL получить практически невозможно. Об этом подробнее здесь.

Есть случаи, когда БД нет (и 1С в файловой версии), но это, разумеется ориентирует вас на интеграцию без использования средств СУБД.

Категория: Админитстрирование / Системное администрирование

 

Oracle Storage Cloud Services - все, в чем нуждается корпоративное хранилище данных

Автор: admin от 31-07-2017, 22:55, посмотрело: 692

Корпоративные хранилища данных на основе публичного облака и относящиеся к ним сервисы уже достаточно проверены клиентами. Они отвечают их потребностям в хранении данных, предоставлении доступа и защите. В исполнении Oracle безопасное, эластичное и простое использование этих данных доступно в любой момент и в любой окружающей IT среде, связанной с интернетом.



Oracle Storage Cloud Services - все, в чем нуждается корпоративное хранилище данных

->

Категория: Админитстрирование / Системное администрирование

 

Стоимость хранения данных: «игра с нулевой суммой»

Автор: admin от 19-07-2017, 12:40, посмотрело: 261

На прошлой неделе наши коллеги из Backblaze поделились результатами собственного расследования проблемы стабильного снижения стоимости хранения данных. Мы решили оттолкнуться от их заметки и обсудить ситуацию здесь, на Хабре.



Стоимость хранения данных: «игра с нулевой суммой» ->

Категория: Админитстрирование / Системное администрирование

 

InnoDB cluster — оно работает, и вроде бы именно так, как обещали

Автор: admin от 6-07-2017, 08:15, посмотрело: 374

Я занимаюсь АТСками. И как-то так сложилась, что с самого первого заказа от меня хотели отказоустойчивости. Одним из ключевых компонентов современной АТС (как и любой информационной системы, наверное) является БД, где хранятся как данные о текущем состоянии системы, так и всякие конфигурационные параметры. Естественно, падение БД приводит к поломке всей системы. Начиналось все с MASTER-MASTER репликации в MySQL (исключительно для оперативности переключения), потом были эксперименты с MySQL over DRBD. Все это жило в pacemaker/corosync инфраструктуре. Там ездили IP-адреса, шлюзы и прочая лабудень. Со временем оно даже стало работать как-то более-менее устойчиво. Но тут мне попалась пара серверов, на которых DRBD сделать было нельзя, в MASTER-MASTER я разочаровался довольно давно (постоянно она у меня ломается, такая репликация), а без отказоустойчивой БД терялся весь смысл решения. На глаза мне попалось название InnoDB cluster и я решил: "была-не-была". Что из этого получилось — смотрите под катом.

->

Категория: Админитстрирование / Системное администрирование

 

Как защитить корпоративное хранилище от вирусов-шифровальщиков снэпшотами

Автор: admin от 2-07-2017, 17:05, посмотрело: 354

Вирусы-шифровальщики уже не первый год сотрясают ИТ-рынок последствиями своей подпольной работы. Скрываясь за ссылкой в email или в javascript коде на странице веб сайта, они молчаливо инсталлируются на рабочие компьютеры или сервера и начинают тихо зашифровывать всю информацию. После окончания шифрования, одни просто удаляют ключ шифрования, другие требуют выкуп, но далеко не все пользователи, заплатившие его получают ключ шифрования. Как же с ними можно бороться? Самое главное средство борьбы – быть подготовленным к наихудшему.



Пытаться защититься от вирусов и других хакерских атак только средствами антивирусов и межсетевых экранов, это все равно что навесить замков на двери, поставить сигнализациювидеонаблюдение и рассчитывать на то, что не найдется кто-то, кто это сможет обойти. Как показывает практика, даже самые сложные замки, самые умные системы защиты можно обойти. Нужно иметь «План Б» и быть готовым к наихудшему. Единственный выход — иметь возможность быстро и гарантированно восстановить данные. На примере решений NetApp рассмотрим такие возможности.



Как защитить корпоративное хранилище от вирусов-шифровальщиков снэпшотами Защитить данные при помощи Снэпшотов

Категория: Программирование / Системное администрирование

 

NetApp HCI - гиперконвергентная система нового поколения для работы с данными

Автор: admin от 1-07-2017, 00:00, посмотрело: 375

Развитие систем хранения данных и управления ими прошли долгий путь развития, будучи критичными для любого корпоративного IT решения. Сегодня наиболее совершенными являются гиперконвергентные системы, которые имеют целый ряд преимуществ перед используемыми сегодня и устаревшими наследуемыми системами. Они дешевле, проще в управлении, легко масштабируются и обеспечивают точное соответствие своих ресурсов потребностям предприятия.



NetApp HCI - гиперконвергентная система нового поколения для работы с данными ->

Категория: Программирование

 

Как защитить корпоративный NAS от вирусов RansomWare

Автор: admin от 28-06-2017, 12:20, посмотрело: 1 711

Вирусы шифровальщики не первый год сотрясают ИТ общественность последствиями своей подпольной работы. Скрываясь за ссылкой в email или в javascript коде на странице веб сайта, они молчаливо инсталлируются на рабочие компьютеры или сервера и начинают тихо зашифровывать всю информацию. После окончания шифрования, некоторые просто удаляют ключ шифрования, а не которые требуют выкуп, но далеко не все заплатившие выкуп получают ключ шифрования. Как же с ними можно бороться? Самое главное средство борьбы – быть подготовленным к борьбе.

Как защитить корпоративный NAS от вирусов RansomWare

Защитить данные при помощи Снэпшотов

Категория: Программирование

 

Организация коммутационного поля СКС высокой плотности

Автор: admin от 22-06-2017, 08:40, посмотрело: 701

Объем и плотность коммутационного поля СКС прямо пропорциональны хаосу на нем и обратно пропорциональны возможности его устранения. Проблематика проектирования и построения новой СКС сводится к расстановке рабочих мест, кабельных трасс и коммутационных узлов. Никто не задумывается о технических решениях, призванных обеспечить эффективное эксплуатирование системы после ее сдачи.

Организация коммутационного поля СКС высокой плотности

Категория: Админитстрирование / Системное администрирование

 

ZFS on Linux: вести с полей 2017

Автор: admin от 19-06-2017, 12:05, посмотрело: 366

ZFS является одной из самых нафаршированных файловых систем (ФС), а главное — она заботится о сохранности нашей информации.
Да, она не является «серебряной пулей», но в своей области показывает прекрасные результаты.
ZFS on Linux: вести с полей 2017

Проект ZFS on Linux изначально был создан для портирования существующего кода из Solaris. После закрытия его исходного кода совместно с сообществом OpenZFS проект продолжил разработку ZFS для Linux. Код может быть собран как в составе ядра, так и в виде модуля.
ZFS on Linux: вести с полей 2017
Сейчас пользователь может создать пул с последней совместимой с Solaris версией 28, а также с приоритетной для OpenZFS версией 5000, после которого началось применение feature flags (функциональные флаги). Они позволяют создавать пулы, которые будут поддерживаться в FreeBSD, пост-Sun Solaris ОС, Linux и OSX вне зависимости от различий реализаций.

В 2016 году был преодолён последний рубеж, сдерживавший ZFS на Linux — многие дистрибутивы включили его в штатные репозитории, а проект Proxmox уже включает его в базовую поставку. Ура, товарищи!

Рассмотрим как наиболее важные отличия, так и подводные камни, которые есть в настоящее время в версии ZFS on Linux 0.6.5.10.

Категория: Системное администрирование / Linux

 
Назад Вперед