Time series данные в реляционной СУБД. Расширения TimescaleDB и PipelineDB для PostgreSQL

Автор: admin от 28-08-2019, 13:00, посмотрело: 46

Time series данные или временные ряды — это данные, которые изменяются во времени. Котировки валют, телеметрия перемещения транспорта, статистика обращения к серверу или нагрузки на CPU — это time series данные. Чтобы их хранить требуются специфичные инструменты — темпоральные базы данных. Инструментов — десятки, например, InfluxDB или ClickHouse. Но даже у самых лучших решений для хранения временных рядов есть недостатки. Все time series хранилища низкоуровневые, подходят только для time series данных, а обкатка и внедрение в текущий стек — дорого и больно.



Time series данные в реляционной СУБД. Расширения TimescaleDB и PipelineDB для PostgreSQL


Но, если у вас стек PostgreSQL, то можете забыть о InfluxDB и всех остальных темпоральных БД. Ставите себе два расширения TimescaleDB и PipelineDB и храните, обрабатываете и проводите аналитику time series данных прямо в экосистеме PostgreSQL. Без внедрения сторонних решений, без недостатков темпоральных хранилищ и без проблем их обкатки. Что это за расширения, в чем их преимущества и возможности, расскажет Иван Муратов (binakot) — руководитель отдела разработки в «Первой Мониторинговой Компании».

Категория: Информационная безопасность

 

Последние изменения в IO-стеке Linux с точки зрения DBA

Автор: admin от 10-07-2019, 15:55, посмотрело: 61

Главные вопросы работы с базой данных связаны с особенностями устройства операционной системы, на которой работает база. Сейчас Linux — основная операционная система для баз данных. Solaris, Microsoft и даже HPUX все еще применяются в энтерпрайзе, но первое место им больше никогда не занять, даже вместе взятым. Linux уверенно завоевывает позиции, потому что open source баз данных все больше. Поэтому вопрос взаимодействия БД с ОС, очевидно, о базах данных в Linux. На это накладывается вечная проблема БД — производительность IO. Хорошо, что в Linux последние годы идет капитальный ремонт IO-стека и есть надежда на просветление.





Илья Космодемьянский (hydrobiont) работает в компании Data Egret, которая занимается консалтингом и поддержкой PostgreSQL, и про взаимодействие ОС и баз данных знает многое. В докладе на HighLoad++ Илья рассказал о взаимодействии IO и БД на примере PostgreSQL, но и показал, как с IO работают другие БД. Рассмотрел стек Linux IO, что нового и хорошего в нем появилось и почему все не так, как было пару лет назад. В качестве полезной памятки — контрольный список настроек PostgreSQL и Linux для максимальной производительности подсистемы IO в новых ядрах.

Категория: Linux

 

Почему Интернет до сих пор онлайн?

Автор: admin от 20-06-2019, 16:45, посмотрело: 52

Интернет кажется сильной, независимой и нерушимой структурой. В теории, прочности сети хватит, чтобы пережить ядерный взрыв. В реальности, интернет может уронить один маленький роутер. Все из-за того, что интернет — это нагромождение противоречий, уязвимостей, ошибок и роликов про котиков. Основа интернета — протокол BGP — содержит кучу проблем. Удивительно, что он еще дышит. Кроме ошибок в самом интернете, его еще ломают все кому не лень: крупные интернет-провайдеры, корпорации, государства и DDoS-атаки. Что с этим делать и как с этим жить?



Почему Интернет до сих пор онлайн?


Ответ знает Алексей Учакин (Night_Snake) — лидер команды сетевых инженеров в компании IQ Option. Главная его задача — доступность платформы для пользователей. В расшифровке доклада Алексея на Saint HighLoad++ 2019 поговорим про BGP, DDOS-атаки, рубильник от интернета, ошибки провайдеров, децентрализацию и случаи, когда маленький роутер отправил интернет поспать. В конце — пара советов, как все это пережить.

Категория: Информационная безопасность

 

FAQ по архитектуре и работе ВКонтакте

Автор: admin от 24-04-2019, 11:10, посмотрело: 76

История создания ВКонтакте есть в Википедии, её рассказывал сам Павел. Кажется, что ее знают уже все. Про внутренности, архитектуру и устройство сайта на HighLoad++ Павел рассказывал еще в 2010 году. Много серверов утекло с тех пор, поэтому мы обновим информацию: препарируем, вытащим внутренности, взвесим — посмотрим на устройство ВК с технической точки зрения.



FAQ по архитектуре и работе ВКонтакте


Алексей Акулович (AterCattus) бэкенд-разработчик в команде ВКонтакте. Расшифровка этого доклада — собирательный ответ на часто задаваемые вопросы про работу платформы, инфраструктуры, серверов и взаимодействия между ними, но не про разработку, а именно про железо. Отдельно — про базы данных и то, что вместо них у ВК, про сбор логов и мониторинг всего проекта в целом. Подробности под катом.



Категория: Программирование

 

Обзор лучших докладов с HighLoad++ 2017

Автор: admin от 19-01-2018, 08:35, посмотрело: 185

В ближайших нескольких статьях я расскажу о лучших (по мнению участников) докладах HighLoad++ 2017. Организаторы любезно открыли доступ к видеозаписям, которые вы сможете прямо тут и посмотреть.



Goth2Boss: ломка и отходняки при переходе из инженера в тимлиды / Артем Каличкин



Обзор лучших докладов с HighLoad++ 2017


Для меня это открытие года — на мощной технологической конференции первое место занимает доклад, хоть и от технаря, но про УПРАВЛЕНИЕ. Конечно можно рассуждать на тему того, что гуманитарии более охотно ставят оценки и по-умолчанию более лояльная аудитория, но факт остаётся фактом.

Категория: Операционные системы » iOS

 

Как убить технаря в тимлиде

Автор: admin от 17-01-2018, 13:55, посмотрело: 290

В IT линейных руководителей и тимлидов традиционно набирают из лучших инженеров. Их работа теперь состоит совсем в другом: управлять людьми и взаимодействовать с другими командами и организациями. Исходный же посыл «я лучше знаю, как нужно» часто приводит к совмещению в одном лидере одновременно двух крайностей: отсутствия делегирования и тотального контроля. И то, и другое вовсе не оставляет ни времени, ни сил на управление. О том, как со всем этим справиться и какие еще препятствия могут встретиться на пути новоиспеченного руководителя, на основе собственного опыта и собственноручно набитых шишек расскажет Александр Трофимов из Лаборатории Касперского.





В основе публикации — расшифровка доклада Александра Трофимова с HighLoad++ 2017

Категория: Компании » Microsoft

 

Превращаем спикеров в ораторов на примере HighLoad++

Автор: admin от 27-12-2017, 16:30, посмотрело: 222

Привет! Я диктор Чумак и я помогаю людям достигать большего с помощью инструмента, который всегда с собой, — способности говорить.



Кто-то из вас был на моем тренинге по публичным выступлениям перед конференцией HighLoad++, кто-то нет, но это не страшно. Мы устроим его прямо здесь, на страницах Хабра. В последующих публикациях я буду разбирать выступления с HighLoad++ в разрезе ораторского мастерства.



Превращаем спикеров в ораторов на примере HighLoad++


Содержательную часть я затрагивать не буду, в ней вы, очевидно, разбираетесь лучше меня. Я обозначу хорошие моменты выступлений и «точки роста» — проблемные места, исправив которые, автор доклада сможет стать более эффективным спикером.

Категория: Программирование » Веб-разработка

 

Открытая трансляция главного зала HighLoad++

Автор: admin от 4-11-2017, 06:25, посмотрело: 283

Открытая трансляция главного зала HighLoad++



Отличная новость — как и в прошлом году мы будем транслировать главный зал HighLoad++ с самыми интересными докладами совершенно бесплатно!



Трансляция HighLoad++



Не забудьте нажать на "Напомнить", а также подписаться на наш канал. Мы постоянно выкладываем в нём видеозаписи наших докладов.



Транслироваться в открытом доступе будет только главный зал, если вы хотите посмотреть остальные 9 залов, то можете приобрести и закрытый доступ.



Полное расписание доступно на сайте (PDF, HTML), а подкатом мы расскажем о самых интересных докладах.

Категория: Админитстрирование » Системное администрирование

 

Redis — что быстрее, UNIX-сокет или TCP? Что стабильнее? + pconnect

Автор: admin от 31-08-2017, 17:31, посмотрело: 574

Redis — что быстрее, UNIX-сокет или TCP? Что стабильнее? + pconnect

Мы в PushAll обрабатываем несколько тысяч запросов в секунду для получения статистики доставки и открытия уведомлений и для передачи контента оповещений. Обычная БД вроде MySQL не справляется с таким потоком запросов и не может так быстро отвечать.

Стараясь все больше операций перенести на быстрые NoSQL хранилища вроде Redis, мы хотим знать как эффективнее его использовать и не будет ли у нас проблем с большим количеством соединений.
Также для работы мы используем форки PHP и нам было интересно, а как поведет себя Redis, если мы будем делать несколько тысяч соединений в одновременно в нескольких потоках. Мы решили поделиться с сообществом нашими тестами.

Категория: Программирование

 

Linux Kernel Extension for Databases

Автор: admin от 9-08-2017, 21:10, посмотрело: 305

Linux Kernel Extension for Databases


Александр Крижановский ( krizhanovsky )



Сегодня буду рассказывать про внутренности базы данных, про внутренности ОС и о том, что происходит на стыке. Когда я говорю про базу данных, я имею в виду в основном ввод/вывод, управление памятью и обработку транзакций. Это совершенно не про SQL, не про индексы, не про блокировки и т.д. Только ввод/вывод, управление памятью и транзакции.



В тех местах, когда я буду упоминать про базы данных, я буду ссылаться на InnoDB, которая мне наиболее знакома.



Linux Kernel Extension for Databases


Если мы посмотрим на движок транзакционной базы, мы увидим примерно такую же картинку. У нас есть буфер pool, в нем живут странички индекса, странички данных. Все эти странички выводятся через транзакционный лог, когда они изменились, проходит это все через планировщик ввода/вывода и в ту, и в другую сторону. Планировщик ввода/вывода, когда он считывает что-то с диска, он делает read ahead. Все это проходит через файловую систему, но это дальше, на диске.
->

Категория: Программирование, Системное администрирование, Linux

 
Назад Вперед