Эффективное использование памяти при параллельных операциях ввода-вывода в Python

Автор: admin от 14-03-2018, 05:40, посмотрело: 68

Существует два класса задач где нам может потребоваться параллельная обработка: операции ввода-вывода и задачи активно использующие ЦП, такие как обработка изображений. Python позволяет реализовать несколько подходов к параллельной обработке данных. Рассмотрим их применительно к операциям ввода-вывода.



До версии Python 3.5 было два способа реализации параллельной обработки операций ввода-вывода. Нативный метод — использование многопоточности, другой вариант — библиотеки типа Gevent, которые распараллеливают задачи в виде микро-потоков. Python 3.5 предоставил встроенную поддержку параллелизма с помощью asyncio. Мне было любопытно посмотреть, как каждый из них будет работать с точки зрения памяти. Результаты ниже.

Категория: Операционные системы » iOS

 

Централизованный сontinuous deployment за год vol 2

Автор: admin от 13-03-2018, 22:20, посмотрело: 78

В нашей прошлой статье мы рассказали о том как строили централизованный конвейер, но описали его довольно поверхностно. Это породило массу вопросов, которые мы не можем оставить без ответа. Здесь мы попробуем максимально глубоко залезть «под капот» и рассказать, как работает наш централизованный конвейер.



Централизованный сontinuous deployment за год vol 2

Категория: Операционные системы » iOS

 

Изучаем параллельные вычисления с OpenMPI и суперкомпьютером на примере взлома соседского WiFi

Автор: admin от 13-03-2018, 22:20, посмотрело: 108

Во время написания диссертации одним из направлением исследований было распараллеливание поиска в пространстве состояний на вычислительных кластерах. У меня был доступ к вычислительному кластеру, но не было практики в программировании для кластеров (или HPC — High Performance Computing). Поэтому прежде чем переходить к боевой задаче, я хотел поупражняться на чем-то простом. Но я не любитель абстрактных hello world без реальных практических задач, поэтому такая задача быстро нашлась.



Изучаем параллельные вычисления с OpenMPI и суперкомпьютером на примере взлома соседского WiFi

Всем известно, что полный перебор является самым низкоэффективным способом подбора паролей. Однако с появлением суперкомпьютеров появилась возможность существенно ускорить данный процесс, поскольку, как правило, перебор параллелится практически без накладных расходов. Поэтому, теоретически, на кластере можно ускорить процесс с линейным коэффициентом, т.е. имея 100 ядер — ускорить процесс в 1000*k раз (где 0.0 < k <= 1.0). Так ли это на практике?

Категория: Операционные системы » iOS

 

В macOS High Sierra обнаружились «Черные дыры»

Автор: admin от 13-03-2018, 22:20, посмотрело: 154

В macOS High Sierra обнаружились «Черные дыры»


Живешь себе живешь, репу не чешешь, в ус не дуешь. И тут внезапно тебе нужно переезжать с обветшавшего iPhone 6 на новенький iPhone X. А поскольку вся твоя жизнь за минувшие семь лет хранится в фоточках и видосиках старого смартфона, терять это добро тебе очень не хочется. И вот ты бэкапишь свое хозяйство через iTunes на Mac, пытаешься переехать на новую «балалайку» и вдруг оказывается, что места для бэкапа нового телефона на жестком диске твоего компьютера уже нет. Ты начинаешь судорожно расчищать авгиевы конюшни дисковое пространство, но результата «нема». Причем удаление «левых файлов» и очистка корзины ни к чему не приводит. Вот такой триллер разыгрался недавно с вице-президентом Parallels Николаем Добровольским. Под катом детективная история про обнаружение им «черной дыры» в macOS High Sierra, поиски истины и счастливый конец, которому могли бы позавидовать главные герои кинофильма «Титаник».

Категория: Операционные системы » iOS

 

Тренинг FastTrack. «Сетевые основы». «Оборудование для дата-центров». Эдди Мартин. Декабрь, 2012

Автор: admin от 13-03-2018, 08:00, посмотрело: 87

Около года назад я заприметил интереснейшую и увлекательную серию лекций Эдди Мартина, который потрясающе доходчиво, благодаря своей истории и примерам из реальной жизни, а также колоссальному опыту в обучении, позволяет приобрести понимание довольно сложных технологий.



Тренинг FastTrack. «Сетевые основы». «Оборудование для дата-центров». Эдди Мартин. Декабрь, 2012


Мы продолжаем цикл из 27 статей на основе его лекций:



01/02: «Понимание модели OSI» Часть 1 / Часть 2

03: «Понимание архитектуры Cisco»

04/05: «Основы коммутации или свитчей» Часть 1 / Часть 2

06: «Свитчи от Cisco»

07: «Область использования сетевых коммутаторов, ценность свитчей Cisco»

08/09: «Основы беспроводной локальной сети» Часть 1 / Часть 2

10: «Продукция в сфере беспроводных локальных сетей»

11: «Ценность беспроводных локальных сетей Cisco»

12: «Основы маршрутизации»

13: «Строение роутеров, платформы маршрутизации от Cisco»

14: «Ценность роутеров Cisco»

15/16: «Основы дата-центров» Часть 1 / Часть 2

17: «Оборудование для дата-центров»



И вот семнадцатая из них.

Категория: Операционные системы » iOS

 

Путеводитель CNCF по решениям Open Source (и не только) для cloud native

Автор: admin от 13-03-2018, 08:00, посмотрело: 91

8 марта фонд CNCF, созданный при The Linux Foundation, представил значительно обновлённую версию своей «карты ранее неизведанной территории облачных (cloud native) технологий» — Cloud Native Landscape 2.0. Собранная в рамках этого проекта информация ориентирована на компании, которые только начинают свой путь в мир инфраструктуры для cloud native-приложений, и призвана познакомить их с множеством имеющихся решений с открытым исходным кодом и не только.



Путеводитель CNCF по решениям Open Source (и не только) для cloud native

Категория: Операционные системы » iOS

 

Производство информационных систем. Часть 1. Отправная точка

Автор: admin от 13-03-2018, 08:00, посмотрело: 66

I ВСТУПЛЕНИЕ

Из хаоса каким-то образом рождается порядок.

Некоторые об этом узнают из газет со значительным опозданием, а некоторые по горькому опыту на месте и в процессе создания этого порядка.

Михаил Булгаков.
Просматривая статьи, посвященные той или иной теме, связанной с созданием программного обеспечения, часто наблюдаю, вот какую картину: узкая тема раскрыта интересно и профессионально, но вот когда задеваются нюансы на стыке, по ту сторону от основного вопроса, чувствуются рассогласованность и провалы в общем понимании процесса производства информационных систем. Разрываются причинно-следственные связи. Иногда, непонимание внешнего окружения обсуждаемого вопроса, вносит искажения в основную тему, ну или по крайней мере, затушевывает некоторые важные моменты, достойные внимания. Когда же вступаешь с автором в полемику, становится очевидным, что для него вопросы, выходящие за рамки его наблюдений и опыта, абсолютно неважны. Он просто упомянул всуе сопредельную тему, а дальше, как говорится, уже не его проблемы. Второй нюанс, на котором я хочу заострить внимание – пренебрежение масштабами замысла. Ведь то, что хорошо для реализации малых проектов, смерть для больших и наоборот. Этот факт часто попросту сбрасывается авторами со счетов. А в результате идут баталии с критиками решения, в которых каждый как бы и прав, но только с точки зрения своей отдельностоящей колокольни. Сами же точки зрения никак не обозначаются сторонами дискуссии, а потому никак не учитываются.



Исходя из всего вышесказанного, мне показалось, что будет весьма пользительно собрать и описать структуру процесса производства программных продуктов (ну хотя бы основных вариантов), при этом не вдаваясь глубоко в специфические детали, а фабулу изложить в формате, предельно доступном для широкого круга лиц. Естественно данная публикация – это лишь мой взгляд на предмет.

Категория: Операционные системы » iOS

 
 

Тренинг FastTrack. «Сетевые основы». «Основы беспроводной локальной сети». Часть вторая. Эдди Мартин. Декабрь, 2012

Автор: admin от 5-03-2018, 09:20, посмотрело: 91

Около года назад я заприметил интереснейшую и увлекательную серию лекций Эдди Мартина, который потрясающе доходчиво, благодаря своей истории и примерам из реальной жизни, а также колоссальному опыту в обучении, позволяет приобрести понимание довольно сложных технологий.



Тренинг FastTrack. «Сетевые основы». «Основы беспроводной локальной сети». Часть вторая. Эдди Мартин. Декабрь, 2012


Мы продолжаем цикл из 18 статей на основе его лекций:



Тренинг FastTrack. «Сетевые основы». «Понимание модели OSI». Часть первая. Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Понимание модели OSI». Часть вторая. Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Понимание архитектуры Cisco». Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Основы коммутации или свитчей». Часть первая. Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Основы коммутации или свитчей». Часть вторая. Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Свитчи от Cisco». Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Область использования сетевых коммутаторов, ценность свитчей Cisco». Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Основы беспроводной локальной сети». Часть первая. Эдди Мартин. Декабрь, 2012



Тренинг FastTrack. «Сетевые основы». «Основы беспроводной локальной сети». Часть вторая. Эдди Мартин. Декабрь, 2012



И вот девятая из них.

Категория: Операционные системы » iOS

 

Рассуждения на тему геймдизайна VR-игр

Автор: admin от 5-03-2018, 09:20, посмотрело: 83

Под катом несколько мыслей на тему особенностей геймдизайна игр в виртуальной реальности. Буду весьма рад обсудить в комментариях, какие ограничения и возможности дают геймдизайнеру современные VR-технологии.



Рассуждения на тему геймдизайна VR-игр

Категория: Операционные системы » iOS