Скрапинг бесконечно прокручивающейся страницы

Автор: admin от 18-10-2016, 21:15, посмотрело: 349

Скрапинг бесконечно прокручивающейся страницы


Добро пожаловать в советы по Scrapy от профессионалов! В этом месяце мы поделимся несколькими уловками, чтобы помочь ускорить вашу работу связанную с веб-скрапингом. Как ведущие мэйнтейнеры Scrapy мы сталкиваемся с каждыми препятствием, которое вы можете себе представить. Так что не волнуйтесь — вы в надёжных руках. Не стесняйтесь контактировать с нами в твиттере или фейсбуке с любыми предложениями для будущих статей.


Скрапинг бесконечно прокручивающейся страницы


В эру одностраничных приложений и тонн AJAX-запросов на одной странице множество веб-сайтов заменили кнопку навигации "вперёд/назад" на причудливый механизм бесконечной прокрутки страницы. Веб-сайты использующие этот механизм загружают новую сущность каждый раз, когда пользователь достигает конца страницы при вертикальной прокрутке(вспомните Twitter, Facebook, Google Images). Даже несмотря на то, что UX-эксперты утверждают что механизм бесконечной прокрутки предоставляет чрезмерное количество данных для пользователей, мы видим увеличивающееся количество веб-страниц прибегающих к предоставлению бесконечного списка результатов.

Категория: Программирование

 

Excel, SQL и легендарный барометр — решаем простую задачу разными способами

Автор: admin от 18-10-2016, 21:15, посмотрело: 195

На прошлой неделе в каком-то обсуждении всплыл старый хабротекст «Стратегия для технического интервью». Точнее, приведённая в нём задача №4
Дано: .xls (Excel) файл с одним листом в 4 числовых колонки и 1000 строк.
Требуется: Загрузить его в SQL базу данных, таблица с соответствующими колонками имеется. Ну и, сперва, оценить время на решение.

Ну и мне стало интересно, сколькими максимально разнообразными и простыми способами я могу решить эту задачу, используя только то что есть у меня на компьютере.

Excel, SQL и легендарный барометр — решаем простую задачу разными способами

Update: В коментариях рассказывают методы заполнения столбцов без «протягивания»: раз, два

Категория: Программирование, Веб-разработка, Windows, Linux

 

Реверс-инжиниринг процедурной генерации в No Man's Sky

Автор: admin от 18-10-2016, 20:45, посмотрело: 155

Реверс-инжиниринг процедурной генерации в No Man's Sky

No Man’s Sky — это игра про исследование космоса, в которой используется технология процедурной генерации игрового окружения и ресурсов (текстур, моделей, рельефа и т.д.). Я был в восторге, когда объявили о её разработке в 2013 году, не только из-за самой игры, но в основном из-за возможности изучить игровые файлы и узнать, как она работает. После выпуска игра получила самые противоречивые отзывы, но мне всё равно интересно, что же происходит у неё внутри.

Если вы установите игру, то увидите, что по объёму она очень невелика, и это действительно так. Но основная причина этого в том, что игра работает с очень ограниченным набором ресурсов и с помощью процедурной генерации создаёт на их основе буквально сотни вариантов. Я сосредоточусь на контенте, связанном с 3D-моделями игры, потому что для меня они всегда наиболее интересны. Статья будет разделена на три основные категории: геометрия, текстуры и анимации.

Категория: Программирование » Веб-разработка

 

«Привет, Siri. Включи обогреватели» — Интеграция умного дома на базе NooLite с Apple HomeKit

Автор: admin от 18-10-2016, 20:25, посмотрело: 311

«Привет, Siri. Включи обогреватели» — Интеграция умного дома на базе NooLite с Apple HomeKit

В своей первой статье я описал предысторию появления системы удаленного управления отоплением в загородном доме через Telegram-бота, которым я и моя семья пользовались долгое время.


С выходом iOS 10, Apple представила пользователям приложение Дом — свою реализацию интерфейса управления умным домом через HomeKit. Меня весьма заинтересовала данная тема и, потратив несколько вечеров на изучение доступного материала, я решил реализовать интеграцию данного продукта с моей системой. В статье я подробно изложу процесс ее установки и настройки, а также поделюсь видео с результатами того, что получилось в итоге.

Категория: Программирование

 

Почему супер-мега-про машинного обучения за 15 минут всё же не стать

Автор: admin от 18-10-2016, 20:15, посмотрело: 209

Вчера я опубликовал статью про машинное обучение и NVIDIA DIGITS. Как и обещал, сегодняшняя статья — почему всё не так уж и хорошо + пример выделения объектов в кадре на DIGITS.

NVIDIA подняла волну пиара по поводу разработанной и имплиментированной в DIGITS сетки DetectNet. Сетка позиционируется как решение для поиска одинаковых/похожих объектов на изображении.

Почему супер-мега-про машинного обучения за 15 минут всё же не стать

Категория: Программирование

 

Персона: как создатель JavaScript Брендан Айк пришел к созданию своей компании

Автор: admin от 18-10-2016, 19:30, посмотрело: 261

Персона: как создатель JavaScript Брендан Айк пришел к созданию своей компании

Брендан Айк не самый известный персонаж. Отчасти это объясняется его скромностью, отчасти — спецификой работы. Но его вклад в ИТ-индустрию достаточно велик, чтобы о нем узнали миллионы. Можно сказать, что и он сам велик.

Айк до сих пор продолжает создавать что-то новое. Недавним примером является его «антирекламный» браузер, который был встречен противоречиво, но никак не равнодушно.

Категория: Программирование, Google

 

Почему мы в «Дадате» тратим 2 млн долларов в год на 99,99% точность обработки данных

Автор: admin от 18-10-2016, 19:00, посмотрело: 180

Вы когда-нибудь задумывались, почему вообще возможно исправить ошибки и опечатки в текстовых данных, например, в адресах и именах? Почему мы думаем, что «Терская» — это, скорее всего, Тверская улица, а не какая-нибудь фантастическая улица Василиятёрского? А вдруг это Комсомольский проспект, в котором сделано двадцать опечаток?


Наш жизненный опыт говорит о том, что упорядоченные низкоэнтропийные состояния менее вероятны, чем высокоэнтропийные неупорядоченные. То есть «Терская» скорее Тверская с одной опечаткой, чем Комсомольский проспект с двадцатью опечатками. Однако в жизни возникает много спорных случаев, где вероятности не так однозначны.
Почему мы в «Дадате» тратим 2 млн долларов в год на 99,99% точность обработки данных

Категория: Программирование » Веб-разработка

 

Майкл Фезерс, автор книги «Working Effectively with Legacy Code», едет в Харьков с докладом

Автор: admin от 18-10-2016, 18:40, посмотрело: 239

25 октября 2016 года Майкл Фезерс, Director of R7K Research & Conveyance и автор книги «Working Effectively with Legacy Code», выступит на uDev Tech Events с лекцией на тему «Micro Refactoring and Macro Refactoring: Strategies and Techniques».

Категория: Программирование, Веб-разработка

 

Технострим объявил месяц разработки игр

Автор: admin от 18-10-2016, 16:25, посмотрело: 145

Технострим объявил месяц разработки игр

Как вы помните, на канале Технострим проходят онлайн-трансляции с участием наших сотрудников, где можно не только послушать интересный доклад, но и задать вопрос в реальном времени, пообщаться с докладчиком. На этот раз наш отдел образования и исследований пригласил коллег из игровых проектов рассказать про разработку игр. А поскольку нас смотрят в основном студенты-программисты и им сочувствующие, то мы постараемся затронуть все важные темы, но не будем углубляться в технические детали. Таким образом, тема будет интересна всем, кто хочет узнать больше про игровую индустрию.

Под катом смотрите расписание интервью с нашими коллегами. Встречи будут проходить в прямом эфире на YouTube, поэтому, если вы пока не решались расспросить наших коллег об играх, вы можете сделать это онлайн. Первая трансляция будет уже сегодня! Время начала — 19:00.

Категория: Программирование » Веб-разработка

 

UX-митап 26 октября в Петербурге: работа по дизайн-спринтам, LeanUX, юзабилити-исследования

Автор: admin от 18-10-2016, 15:55, посмотрело: 203

UX-митап 26 октября в Петербурге: работа по дизайн-спринтам, LeanUX, юзабилити-исследования

Дизайн – это решение проблемы. Продукты, которые мы создаем, хороши ровно настолько, насколько хорошо мы изначально определили и поняли проблемы, которые хотим решить. Когда компания хочет изменить продукт и сделать это быстро, у дизайн команды не так много времени на поиск и предоставление заказчику жизнеспособного решения.

На встрече 26 октября в питерском офисе Wrike в рамках WrikeTechClub мы поговорим о том, как построить эффективную работу над юзабилити, как провести необходимые исследования и извлечь из них правильные выводы, как выявить фатальные ошибки и суметь их исправить в кратчайшие сроки, рассмотрим новые методологии и разберем с экспертами конкретные кейсы. На митапе выступит CEO и основатель компании Wrike Андрей Филев, который расскажет о последних изменениях облика Wrike в связи с современными тенденциями работы над IT-продуктом.
О программе и докладах

Категория: Программирование » Веб-разработка

 
Назад Вперед