Простой парсер для youtube в гугл таблицах

Автор: admin от 12-03-2019, 23:25, посмотрело: 18

Предыстория



Появилась задача собрать данные по 2000+ youtube видео, из которых необходимо было извлечь название видео, канала и язык.



Функция IMPORTXML, с помощью которой можно выполнять парсинг с сайтов, — не помогла, поскольку, как оказалось в дальнейшем, youtube хранит данные в JSON файлах. Перебирать руками такое количество видео не хотелось и я начал искать способы как автоматизировать или хотя бы упростить эту задачу.

Категория: Google

 

6 нежданчиков от Джулии

Автор: admin от 12-03-2019, 20:10, посмотрело: 21

6 нежданчиков от Джулии

Наконец-таки появилось русскоязычное руководство по языку Julia. Там реализовано полноценное введение в язык для тех, у кого мало опыта в программировании (остальным будет полезно для общего развития), так же имеется введение в машинное обучение и куча заданий для закрепления материала.



Во время поисков наткнулся на курс программирования для экономистов (помимо Джулии там есть и Питон). Опытные могут пробежаться по экспресс курсу или ознакомиться с книгой How to Think Like a Computer Scientist



Далее предоставлен перевод материала из блога Christopher Rackauckas 7 Julia Gotchas and How to Handle Them

Категория: Программирование

 

Какие инструменты сетевого мониторинга выбились в лидеры по версии Gartner

Автор: admin от 12-03-2019, 20:00, посмотрело: 20

В феврале 2019 года Gartner выпустил новый Magic Quadrant for Network Performance Monitoring and Diagnostics (MQ for NPMD). NPMD инструменты — это решения для мониторинга сетевого трафика и инфраструктурных метрик сетевых устройств. Большая часть вендоров поставляет комплексные решения и сетевой мониторинг — один из компонентов таких решений. В статье сравню новый квадрант NPMD 2019 года с предыдущим и посмотрим что там изменилось. В конце статьи ссылки на оригиналы отчётов, где можно узнать подробности об изменениях по каждому вендору.



Какие инструменты сетевого мониторинга выбились в лидеры по версии Gartner Выяснить кто тут главный

Категория: Программирование

 

Зачем ровно 4 года назад NASA прострелила ночное небо мыса Канаверал ракетой Atlas V?

Автор: admin от 12-03-2019, 19:35, посмотрело: 18

Зачем ровно 4 года назад NASA прострелила ночное небо мыса Канаверал ракетой Atlas V?
12 марта 2015 года с мыса Канаверал стартовала очередная миссия NASA по изучению динамики магнитного поля Земли. На этот раз предметом исследования стал процесс перезамыкания силовых линий магнитного поля.



В результате бомбардировки Земли заряженными частицами со стороны Солнца, силовые линии магнитного поля нашей матушки могут претерпевать разрывы и пересоединения, что вызывает огромные всплески энергии, которые отражаются в атмосфере в виде прекрасных аврор.



Для того чтобы лучше понять физику этого процесса, NASA на деньги американских налогоплательщиков дырявит небо дорогущей аппаратурой. Тебе же, для того чтобы погрузиться в тему, достаточно просто заглянуть под кат.
Хочу под кат

Категория: Веб-разработка

 

Взлом камер: векторы атак, инструменты поиска уязвимостей и защита от слежки

Автор: admin от 12-03-2019, 19:35, посмотрело: 40

Взлом камер: векторы атак, инструменты поиска уязвимостей и защита от слежки



Камеры видеонаблюдения стали частью Интернета вещей и, как другие устройства с беспрепятственным доступом к сети, попали в фокус интереса хакеров. Миллионы IP-камер разных производителей открыты для злоумышленников.



Производители камер могут экономить на работе программистов и железе – покупатели получают дешевые устройства с ограниченными вычислительными ресурсами и огромными дырами в механизмах безопасности.



Прошивки массово-потребительских noname устройств не выдерживают никакой критики. Часто они никем не обновляются и не становятся защищеннее после смены дефолтного пароля. Более того, сам производитель может заложить бэкдор.



Далее рассмотрим основные направления атак на системы видеонаблюдения.

Категория: Веб-разработка

 

Готовим полнотекстовый поиск в Postgres. Часть 2

Автор: admin от 12-03-2019, 19:35, посмотрело: 19

В прошлой статье мы оптимизировали поиск в PostgreSQL стандартными средствами. В этой статье мы продолжим оптимизацию с помощью индекса RUM и проанализируем его плюсы и минусы в сравнении с GIN.

Категория: Веб-разработка

 

Почему я сворачиваю свою работу над Debian

Автор: admin от 12-03-2019, 17:20, посмотрело: 25

От переводчика: этот текст — перевод записи в личном блоге Михаэля Стапельберга (Michael Stapelberg) видного open source-разработчика (профиль GitHub), который внес значительный вклад в развитие Debian.





Этот пост было сложно написать с эмоциональной точки зрения, но я и не ограничился «коротким письмом, потому что у меня не было времени». Пожалуйста, перед прочтением этого текста учтите, что пишу я его с лучшими намерениями и не ставлю себе целью демотивировать или принизить вклад кого-то из разработчиков. Скорее, я хочу объясниться, почему мой уровень разочарования превысил все допустимые значения.



Debian был частью моей жизни на протяжении 10 лет.



Несколько недель назад, на посвященной Debian встрече, проходившей в Цюрихе, я встретился с несколькими своими старыми друзьями, которых не видел много лет. Когда я уже ехал домой на велосипеде, меня осенило, что все обсуждаемые нами темы так или иначе сводились к тому, что мы обсуждали с ними в прошлый раз. Мы дискутировали о достоинствах systemd, который вновь привлек внимание участников open source сообщества, затронули тему процессов в Debian. Кульминацией стало обсуждение демократии как таковой и соответствующие теоретические и практические ошибки. Но, на самом деле, это уже чисто швейцарская тема.



Я не даю оценку прошедшему митапу, а просто хочу объяснить, что побудило меня задуматься о своем текущем отношении к Debian, и подходит ли он мне.



Итак, я принял решение, которое должен был принять давно: я сворачиваю свое участие в развитии Debian.

Категория: Веб-разработка, Linux

 

Российские военные создадут свой собственный закрытый интернет

Автор: admin от 12-03-2019, 15:55, посмотрело: 19

Российские военные создадут свой собственный закрытый интернет
Источник: «Известия»



Сегодня стало известно о том, что вооруженные силы РФ начали работу по созданию суверенного сегмента сети для себя. Речь идет о закрытой системе обмена цифровой информации, у которой есть и собственное название — мультисервисная транспортная сеть связи (МТСС). Первый этап работ должен завершиться к концу 2019-го года, стадия финальной готовности ожидается через два года, о чем сообщают «Известия».



Более того, у военных появится свой собственный поисков. Для того, чтобы все работало вне зависимости от внешних факторов через Арктику будет проложен волоконно-оптический кабель. Эксперты утверждают, что опыт создания МТСС пригодится при формировании национальной сети.

Категория: Сетевые технологии

 

Микросервисы на php и swoole для конвертации телеграм каналов в RSS

Автор: admin от 12-03-2019, 13:55, посмотрело: 17

Микросервисы на php и swoole для конвертации телеграм каналов в RSS


В предыдущем посте я рассказал про то, как настроить и использовать php телеграм клиент madelineProto для парсинга постов. Но при использовании библиотеки я столкнулся с несколькими недостатками:




  • Долгая обработка запросов из-за авторизации телеграм клиента;

  • Неудобная настройка;

  • Проблемы с отдачей изображений из постов.



Поэтому решил создать два микросервиса на php для парсинга телеграм каналов, используя асинхронное расширение swoole. Теперь эти пакеты упрощают и ускоряют работу с telegram api (не путать с bot api) в нескольких моих проектах. Хочется поделится ими и услышать мнение других разработчиков.



Под катом расскажу об архитектуре, использовании разных областей видимости в swoole server и устранении последствий ошибок в сторонних библиотеках и внешних api. Ссылки на репозитории с исходным кодом и на тестовый сервер — в конце поста.

Категория: Программирование

 

Почему плохо, когда Интернет знает о вас всё?

Автор: admin от 12-03-2019, 13:35, посмотрело: 18

Привет, Хабр! Предлагаю вашему вниманию перевод статьи "The Dangers of Overpersonalization" авторов Kim Flaherty и Kate Moran.



Итог: Излишняя персонализация контента приводит к однородному и безразличному восприятию пользователем информации и может вызывать усталость от вашего продукта в целом.



Почему плохо, когда Интернет знает о вас всё?

Категория: Программирование

 
Назад Вперед