Сравнение открытых OLAP-систем Big Data: ClickHouse, Druid и Pinot

Автор: admin от 23-03-2018, 19:55, посмотрело: 103

ClickHouse, Druid и Pinot — три открытых хранилища данных, которые позволяют выполнять аналитические запросы на больших объемах данных с интерактивными задержками. Эта статья — перевод подробного сравнения, выполненного Романом Левентовым.



Спойлер














































ClickHouse Druid или Pinot
В организации есть эксперты по C++ В организации есть эксперты по Java
Малый кластер Большой кластер
Немного таблиц Много таблиц
Один набор данных Несколько несвязанных наборов данных
Таблицы и данные находятся в кластере перманентно Таблицы и наборы данных периодически появляются в кластере и удаляются из него
Размер таблиц (и интенсивность запросов к ним) остается стабильным во времени Таблицы значительно растут и сжимаются
Однородные запросы (их тип, размер, распределение по времени суток и т.д.) Разнородные запросы
В данных есть измерение, по которому оно может быть сегментировано, и почти не выполняется запросов, которые затрагивают данные, расположенные в нескольких сегментах Подобного измерения нет, и запросы часто затрагивают данные, расположенные во всем кластере
Облако не используется, кластер должен быть развернут на специфическую конфигурацию физических серверов Кластер развернут в облаке
Нет существующих кластеров Hadoop или Spark Кластеры Hadoop или Spark уже существуют и могут быть использованы
А под катом — подробный рассказ о том, как Роман к этому пришёл.

Категория: Операционные системы » Ubuntu

 

Terraform: новый подход к Infrastructure as code

Автор: admin от 23-03-2018, 19:55, посмотрело: 100

Привет, коллеги! Пока блистательный Илон Маск вынашивает амбициозные планы терраформирования Марса, мы интересуемся новыми возможностями, связанными с парадигмой "Infrastructure as Code" и хотим предложить вам перевод статьи об одном из представителей «великолепной семерки» — Terraform. Книга Евгения Брикмана по теме неплохая, но ей скоро год, так что просим высказаться — хотите ли увидеть ее на русском языке



Слово Камалу Мархуби (Kamal Marhubi) из компании Heap.

Категория: Операционные системы » Ubuntu

 

Простая аутентификация на NGINX с помощью LUA

Автор: admin от 23-03-2018, 19:55, посмотрело: 68

Простая аутентификация на NGINX с помощью LUA
Доброго времени суток. В данной заметке хочу рассказать о простой аутентификации с помощь nginx и lua-скриптов.

Категория: Веб-разработка, Ubuntu

 

Разносим S3 бакеты по разным пулам в Ceph Luminous

Автор: admin от 23-03-2018, 18:05, посмотрело: 71

В процессе настройки нового кластера на Ceph Luminous появилась задача разнести разные S3 бакеты по разным устройствам хранения (в моем случае SSD и HDD). В интернете много инструкций как это сделать в Ceph Jewel, но в случае с Luminous процесс претерпел большие изменения и старые инструкции больше не работают. Вместе с тем, что в офф документации этот сценарий не описан, процесс настройки становится не слишком тривиальным.

Категория: Информационная безопасность

 

Новая облачная консоль Aether для управления корпоративной безопасностью

Автор: admin от 23-03-2018, 18:05, посмотрело: 64

Новая облачная консоль Aether для управления корпоративной безопасностью


Компания Panda Security выпускает новую облачную консоль Aether для централизованного управления информационной безопасностью предприятий. Реализованные изменения дают существенные преимущества в управлении и оперативном реагировании на критические инциденты, особенно для средних и крупных предприятий. Давайте рассмотрим их.

Категория: Информационная безопасность

 

Как из джуниор-тестировщика вырасти в хорошего тестировщика? Мнение Александра Александрова

Автор: admin от 23-03-2018, 18:00, посмотрело: 60

Где учиться начинающим тестировщикам более-менее понятно всем: существует много статей, курсов, книг и мануалов. А вот что делать тем, кто вырос из джуна в мидла — непонятно. В преддверии конференции DUMP, мы решили спросить известных тестировщиков, что они посоветуют джуниорам, которые хотят расти. Первым на наши вопросы ответил «дедушка русского тестирования» Александр Александров — тест-менеджер в компании Luxoft, кандидат физико-математических наук, эксперт RSTQB.



Как из джуниор-тестировщика вырасти в хорошего тестировщика? Мнение Александра Александрова

Категория: Программирование » Веб-разработка

 

В Департамент информационных технологий, связи и защиты информации города N требуется…

Автор: admin от 23-03-2018, 18:00, посмотрело: 75

В Департамент информационных технологий, связи и защиты информации города N требуется…


Сфера государственного IT нередко становится предметом для шуток и критики. Однако нельзя отрицать, что за последние годы работа по развитию информационного общества и в частности работа по повышению доступности государственных электронных услуг принесла результаты.



В РФ созданы следующие элементы системы электронного правительства:



2008 г. – сеть многофункциональных центров предоставления услуг (МФЦ);

2009 г. – единый портал предоставления государственных и муниципальных услуг (ЕПГУ), региональных порталов и порталов муниципалитетов (ЕПГУ), связанных с системой межведомственного электронного взаимодействия (СМЭВ);

2011 г. – система открытого правительства;

2013 г. – интегрированное правительство (МФЦ + ЕПГУ + СМЭВ).



Государственные органы заинтересованы в высококвалифицированных кадрах, снижении рисков и затрат, объединении усилий с частным сектором в предоставлении услуг. Возможно, вы IT-специалист, задумывающийся о работе в Департаменте информационных технологий своего города, или сотрудник IT-компании с частной формой собственности, которая хотела бы оказывать свои услуги государственным организациям. Что нужно знать и к чему быть готовым для такой работы?



Мы, со своей стороны, предлагаем облачную инфраструктуру для размещения в них государственных информационных систем и имеем опыт реализации таких проектов.



Наиболее актуальным для государственных заказчиков является вопрос соответствия требованиям законодательства. Целью этой статьи является повышение осведомленности специалистов в вопросах работы в сфере государственного IT. Эта статья посвящена одному из основных нормативных правовых актов в сфере обеспечения безопасности информации в Государственных и Муниципальных Информационных Системах — 17-ому приказу ФСТЭК.

Категория: Программирование » Веб-разработка

 

Автоматический мониторинг свежеустановленного софта в ZABBIX

Автор: admin от 23-03-2018, 18:00, посмотрело: 57

В ZABBIX есть отличный механизм, который позволяет автоматически обнаруживать и ставить на мониторинг файловые системы, сетевые интерфейсы, CPU, ядера CPU и другие объекты. Но к сожалению тоже самое делать с софтом из коробки он не умеет.



С помощью всего пары скриптов, один из который необходимо положить на сервер, а второй раскидать по клиентам, можно сделать низкоуровневое авто-обнаружение nginx, mongod, rabbitmq, mysql, postgresql и любого другого сервиса.

Категория: Программирование » Веб-разработка

 

«Толик — лапочка», или как мы делали опрос IT-удовлетворенности на 20 тысяч человек

Автор: admin от 23-03-2018, 18:00, посмотрело: 54

А вообще нормально ли нашим сотрудникам работается с внутренними системами? В небольшой компании это вопрос простой, всех сотрудников и их системы IT-служба знает почти наизусть. Но нашим айтишникам сложновато запомнить 20 тысяч человек — а именно столько в ВТБ используют IT-сервисы в работе. Мы задали всего один вопрос, но и этого было достаточно для получения большого количества информации о наших пользователях. В этом посте мы поделимся своим опытом организации массового опроса удовлетворенности — надеемся, он пригодится и вам.



«Толик — лапочка», или как мы делали опрос IT-удовлетворенности на 20 тысяч человек

Категория: Программирование » Веб-разработка

 

«Календарь тестировщика». Протестируй безопасность

Автор: admin от 23-03-2018, 18:00, посмотрело: 50

Продолжаем цикл статьей «Календарь тестировщика», в этом месяце поговорим о тестировании безопасности. Многие не знают с чего начать и пугаются сложностей. Иван Румак, тестировщик безопасности веб-приложений в Контуре, поделился основами в поиске уязвимостей. Новички найдут в статье базовые знания, а опытным тестировщикам будет полезен раздел про обход защиты от CSRF.



В прошлом году Иван занял 4 место в программе поиска уязвимостей Mail.ru и вошел в призовые топ-100 соревнования Hack The World 2017.

В феврале я решил научить коллег-тестировщиков искать уязвимости и проверять релизы на баги безопасности. Из плана обучения я вынес в статью самые основы: с чего начать, что такое HTTP, а также сделал полный разбор одной уязвимости — как искать, защищаться и обходить защиту.



«Календарь тестировщика». Протестируй безопасность

Категория: Программирование » Веб-разработка

 
Назад Вперед