Как поссорились разработка с эксплуатацией — и как помирились

Автор: admin от Вчера, 13:00, посмотрело: 15

Как поссорились разработка с эксплуатацией — и как помирились


С чего начинается любой проект по ИТ-инфраструктуре? Если вы подумали о чем-то вроде: админы собрались, обсудили и кто-то предложил решение, — то с высокой вероятностью попали в точку. Именно так обстоят дела с эксплуатацией в российских компаниях, и у нас до недавнего времени тоже.


В статье расскажу о том, как мы потратили 5 миллионов и почти полгода на то, чтобы убедиться: отличных специалистов и энтузиазма недостаточно для внедрения чего-либо масштабного.

Категория: Компании » Яндекс

 

Дмитрий Сорин, Senior Software Engineer в Atlassian, поделился впечатлениями о пяти годах работы в «Яндексе»

Автор: admin от 14-02-2017, 12:35, посмотрело: 23

Я проработал здесь пять лет и все еще не могу отвыкнуть говорить "мы" и "у нас". Это была славная охота. Слишком много хочется сказать и слишком сильно накрывает #yabudni

A post shared by Dmitry Sorin (@staypositive_ru) on Jan 25, 2017 at 3:34am PST

[/quote]

Дмитрий Сорин, сейчас работающий в сиднейском офисе Atlassian и переехавший спустя пять лет работы в «Яндексе», поделился в публикации на Medium собственными впечатлениями и накопленным за это время опытом. Данный материал перепечатывается без изменений с разрешения автора.

Про Яндекс и не только


В начале 2012 года я переехал из Санкт-Петербурга в Москву, чтобы начать работать в московском Яндексе. За последующие пять лет я поработал разработчиком расширений для Firefox и не только (участвовал в разработке Яндекс.Бара, Элементов и Визуальных Закладок для Firefox и Chrome), руководил разработкой фронтенда Телепрограммы (tv.yandex.ru), нового КиноПоиска (то, что сейчас находится на домене plus.kinopoisk.ru) и многих внутренних проектов Кино и ТВ, обучал ручных тестировщиков писать автотесты. В январе 2017 я уволился из Яндекса и переехал в Сидней, чтобы начать работать в Atlassian на позиции Senior Software Engineer.

Этот пост — квинтэссенция моего опыта работы в Яндексе за пять лет. Мне повезло работать с классными специалистами, которые многому меня обучили. Также мне повезло поработать не только разработчиком, но и получить опыт руководства — т.н. «people management», когда именно команда, а не код, становится главным фокусом. Здесь может чего-то не хватать, но это то, что хочется сохранить, чтобы потом иметь возможность возвращаться и проверять себя.

Категория: Компании » Яндекс

 

История успеха «Яндекс.Почты» с PostgreSQL

Автор: admin от 13-02-2017, 23:50, посмотрело: 24

История успеха «Яндекс.Почты» с PostgreSQLВладимир Бородин, системный администратор группы эксплуатации систем хранения данных в «Яндекс.Почте», знакомит со сложностями миграции крупного проекта с Oracle Database на PostgreSQL. Это — расшифровка доклада с конференции HighLoad++ 2016.

Всем привет! Меня зовут Вова, сегодня я буду рассказывать про базы данных «Яндекс.Почты».

Сначала несколько фактов, которые будут иметь значение в будущем. «Яндекс.Почта» — сервис достаточно старый: он был запущен в 2000 году, и потому мы накопили много legacy. У нас — как это принято и модно говорить — вполне себе highload-сервис, больше 10 миллионов пользователей в сутки, какие-то сотни миллионов всего. В бэкенд нам прилетает более 200 тысяч запросов в секунду в пике. Мы складываем более 150 миллионов писем в сутки, прошедших проверки на спам и вирусы. Суммарный объём писем за все 16 лет — больше 20 петабайт.

О чем пойдет речь? О том, как мы перевезли метаданные из Oracle в PostgreSQL. Метаданных там не петабайты — их чуть больше трехсот терабайт. В базы влетает более 250 тысяч запросов в секунду. Надо иметь в виду, что это маленькие OLTP-запросы, по большей части чтение (80 %).

Это — не первая наша попытка избавиться от Oracle. В начале нулевых была попытка переехать на MySQL, она провалилась. В 2007 или 2008 была попытка написать что-то своё, она тоже провалилась. В обоих случаях был провал не столько по технически причинам, сколько по организационным.

Категория: Компании » Яндекс

 

Нейробайесовский подход к задачам машинного обучения. Лекция Дмитрия Ветрова в Яндексе

Автор: admin от 8-02-2017, 14:40, посмотрело: 15

Этим постом мы завершаем серию лекций с Data Fest. Одним из центральных событий конференции стал доклад Дмитрия Ветрова — профессора факультета компьютерных наук НИУ ВШЭ. Дмитрий входит в число самых известных в России специалистов по машинному обучению и, начиная с прошлого года, работает в Яндексе ведущим исследователем. В докладе он рассказывает об основах байесовского подхода и объясняет, какие преимущества дает этот подход при использовании нейронных сетей.


Под катом — расшифровка и часть слайдов.

Категория: Компании » Яндекс

 

Исследование связности в мозге на основе электрофизиологических данных. Лекция в Яндексе

Автор: admin от 4-02-2017, 16:15, посмотрело: 45

Раз уж идеология нейросетей в IT строилась с оглядкой на реальный прототип, о нем тоже иногда полезно вспомнить. Предлагаем посмотреть или почитать лекцию Ильи Захарова, выпускника кафедры психофизиологии факультета психологии МГУ. Илья объясняет, как можно анализировать сети в мозге, какие данные для этого нужны, какие подводные камни могут возникать при анализе, а главное — что нового позволили узнать подобные исследования.


Под катом — расшифровка и большинство слайдов.

Категория: Компании » Яндекс

 

Как продавать, если вашей товарной группы нет на Яндекс.Маркете?

Автор: admin от 19-12-2016, 21:15, посмотрело: 43

Предисловие


Больше года назад я написал пост «Иннопром посуточно» и пообещал в нем выкладывать интересные кейсы из нашей практики дальше. Пост получился удачным, его сразу вытащили из песочницы, прислали мне инвайты на все проекты Хабра и в итоге я попал в захабренные. Только вот обещание свое я не мог выполнить больше года. Исправляюсь, публикую описание кейса, который был готов уже полтора года назад, да все руки не доходили.

Почему полтора года собраться не мог, а тут вдруг созрел? Ну кроме того, что появился часик времени на написание поста, есть еще причина. Яндекс.Маркет активно пытается пересадить все магазины на кнопку «Купить» на своей площадке. И получается это у них, прямо говоря, не очень. Зато пиара и промывания мозгов на тему как это здорово для магазинов уже столько, что он него тошнить начинает. Решил добавить им пиара.

Как продавать, если вашей товарной группы нет на Яндекс.Маркете?

Категория: Компании » Яндекс

 

Как Яндекс научил машину самостоятельно создавать переводы для редких языков

Автор: admin от 19-12-2016, 14:30, посмотрело: 66

В одной только России насчитывается более сотни языков, многие из которых являются родными для десятков и сотен тысяч человек. Причем часть из них ограничена в употреблении или даже находится на грани исчезновения. Машинный перевод мог бы помочь в сохранении этих языков, но для этого надо решить главную проблему всех подобных систем – отсутствие примеров для обучения.

Яндекс работает над технологией машинного перевода с 2011 года, и сегодня я расскажу о нашем новом подходе, благодаря которому становится возможным создать переводчик для тех языков, для которых ранее это было сделать затруднительно.

Как Яндекс научил машину самостоятельно создавать переводы для редких языков

Правила против статистики

Машинный перевод, то есть автоматический перевод с одного человеческого языка на другой, зародился в середине прошлого века. Точкой отсчета принято считать Джорджтаунский эксперимент, проведенный 7 января 1954 года, в рамках которого более 60 фраз на русском языке были переведены компьютером на английский. По сути, это был вовсе и не эксперимент, а хорошо спланированная демонстрация: словарь включал не более 250 записей и работал с учетом лишь 6 правил. Тем не менее результаты впечатлили публику и подстегнули развитие машинного перевода.

Категория: Компании » Яндекс

 

Яндекс использовал нейросеть и научился прогнозировать осадки с точностью до минут

Автор: admin от 15-12-2016, 09:55, посмотрело: 49

Сегодня я вновь хотел бы поговорить с вами о погоде. Вновь — потому что почти год назад мы уже о ней разговаривали: я рассказал про нашу технологию построения прогнозов Метеум, основанную на метеомоделировании и машинном обучении. Теперь я хочу поговорить не о той погоде, которая будет завтра, на следующей неделе или в новогоднюю ночь, — а о той, которая уже установилась за окном, и о той, которая наступит в ближайшие несколько часов.

Яндекс использовал нейросеть и научился прогнозировать осадки с точностью до минут

Под катом я расскажу о том, что такое наукастинг и как мы над ним работали.

Категория: Компании » Яндекс

 

Порождение и выбор моделей машинного обучения. Лекция в Яндексе

Автор: admin от 4-12-2016, 17:50, посмотрело: 49

Применение машинного обучения может включать работу с данными, тонкую настройку уже обученного алгоритма и т. д. Но масштабная математическая подготовка нужна и на более раннем этапе: когда вы только выбираете модель для дальнейшего использования. Можно выбирать «вручную», применяя разные модели, а можно и этот процесс попробовать автоматизировать.


Под катом — лекция ведущего научного сотрудника РАН, доктора наук и главного редактора журнала «Машинное обучение и анализ данных» Вадима Стрижова, а также большинство слайдов.

Категория: Компании » Яндекс

 

С++17 и С++2a: новости со встречи ISO в Иссакуа

Автор: admin от 1-12-2016, 17:25, посмотрело: 44

С++17 и С++2a: новости со встречи ISO в ИссакуаВ начале ноября в американском городе Иссакуа завершилась встреча международной рабочей группы WG21 по стандартизации C++, в которой участвовали сотрудники Яндекса. На встрече «полировали» C++17, обсуждали Ranges, Coroutines, Reflections, контракты и многое другое.

Заседания, как обычно, занимали целый день + решено было сократить обеденный перерыв на полчаса, чтобы успеть побольше поработать над C++17.

Несмотря на то, что основное время было посвящено разбору недочётов черновика C++17, успели обсудить несколько интересных и свежих идей и даже привнести в стандарт то, о чём нас просили на cpp-proposals@yandex-team.ru.

Подробности

Категория: Компании » Яндекс

 
Назад Вперед