» » Парсинг сайтов или долгострои Московской области

 

Парсинг сайтов или долгострои Московской области

Автор: admin от 31-01-2018, 18:05, посмотрело: 299

Ознакомившись с рынком первичного жилья в Московской области, мы, конечно же, столкнулись с наличием обманутых дольщиков и проблемных объектов, так называемых «долгостроев». Естественно, встал вопрос, насколько вероятна такая ситуация.



Была поставлена цель выполнить классификацию объектов первичного строительства по всеобъемлющему набору признаков: сведений об объекте, застройщике и т.д. Однако общедоступные данные оказались довольно скудными. Все же некоторую дескриптивную статистику собрать удалось…

10]/p[2]/span[2]/text()|//*[contains(@id,'korpinfo_') and string-length(@id)>10]/p[2]/text()").extract()
l2 = [s for s in l if s != " "]
StrKeyDate = "/".join(l2)
if StrKeyDate is None:
StrKeyDate = ""
else:
StrKeyDate = StrKeyDate.replace("xa0","")

l = response.xpath("//*[contains(@id,'korpinfo_') and string-length(@id)>10]/p[3]/span[2]/text()|//*[contains(@id,'korpinfo_') and string-length(@id)>10]/p[3]/text()").extract()
l2 = [s for s in l if s != " "]
StrState = "/".join(l2)
if StrState is None:
StrState = ""
else:
StrState = StrState.replace("+ /","+ ")

yield {
'Name': response.xpath("//*[@id='main_container_table']/tr/td[2]/div[2]/h1/text()").extract(),
'Address': response.xpath("//*[@id='main_container_table']/tr/td[2]/div[2]/div/index/div[5]/text()").extract(),
'Description': " ".join(response.xpath("//*[@id='tab1_1']/div/div/div/div/h3[contains(.,'Что здесь будет')]/parent::*/p/text()").extract()),
'PayAttention': " ".join(response.xpath("//*[@id='tab1_1']/div/div/div/div/h3[contains(.,'На что обратить внимание')]/parent::*/p/text()").extract()),
'Buildings': "/".join(response.xpath("//*[contains(@id,'nkt2_')]/a/nobr/text()").extract()),
'KeysDate': StrKeyDate,
'State': StrState,
'BuildingType': response.xpath("//*[@id='tab2_1']/div/p[1]/text()").extract(),
}[/code]

В процессе парсинга выяснили, что структура страниц новостроек менялась во времени – менялось DOM-дерево, добавлялись и/или удалялись поля. Проблема решалась повторной выгрузкой страниц с изменением соответствующих Xpath в коде паука.



После выгрузки данных началась техническая работа – определение муниципального округа по адресу, очистка данных, выявление дублей, свертка корпусов в объекты, и т.д.



Анализ: критерий «долгостроя»



Перечень новостроек с сорванными сроками строительства мы взяли из общедоступных источников:




  • Сводный перечень проблемных объектов на территории МО на 29.12.2017 и ход выполнения строительных работ от Министерства строительного комплекса Московской области;

  • Список объектов, обсуждавшихся на совещаниях Рабочей группы Мособлдумы по решению проблемы обманутых дольщиков Московской области в 2017 году;

  • Статус достройки проблемных объектов СУ-155 – содержит все недостроенные объекты СУ-155, даже если работы по объекту полностью завершены другим застройщиком от АКБ «Российский капитал»;

  • Перечень объектов из реестра «обманутых дольщиков» (граждан, чьи денежные средства привлечены для строительства многоквартирных домов и чьи права нарушены на 01.05.2017) – содержит все объекты, внесенные в этот реестр, даже если они сданы на отчетную дату (в общем доступе не размещается).



  • Все объекты, обнаруженные в перечисленных источниках, отмечали признаком «долгостроя».



    Для объектов, не попавших в указанные выше списки «долгостроя», но имеющих значение «строительство приостановлено» в поле «Состояние» на новостройкине были автоматически загружены и разобраны последние сообщения на форуме. Если в сообщениях содержались словосочетания вида «обращение обманутых дольщиков к В.В.Путину», «митинг», «мошенники», «банкротство» и т.д., то объект также относили к долгостроям.



    Однако, полученный перечень долгостроев не является исчерпывающим, так как:




  • С июля 2017 года Минстрой МО удалил реестр «обманутых дольщиков» из открытого доступа – самые свежие данные, которыми располагаем – май 2017 года;

  • Сведения в реестр «обманутых дольщиков» заносятся с существенной задержкой. Прием документов для вступления в реестр по всей Московской области ведется силами всего двух чиновников, которые работают неполную рабочую неделю и неполный рабочий день. Принять всех желающих невозможно, потому очередь на подачу документов растянулась на несколько месяцев. Кроме того, поданный пакет документов рассматривается комиссией, которая собирается раз в месяц. Дольщик заносится в реестр только после положительного решения комиссии;

  • «Сводный перечень проблемных объектов на территории МО» не содержит всех проблемных объектов. Согласно закона МО №84/2010-ОЗ, объект должен быть признан проблемным, если застройщик просрочил более чем на 9 месяцев исполнение обязательств по договорам, заключенным с гражданами и (или) иными лицами, чьи денежные средства привлечены для строительства данного многоквартирного дома. В перечень проблемных новостройку должен включить соответствующий муниципалитет. Но местные власти в этом, естественно, не заинтересованы, так как низкий уровень проблемности строительства является одним из критериев успешности их работы. В настоящее время включение в этот перечень происходит только по решению суда. Например, суд принудил муниципалитет г.о. Химки признать ЖК «Авиатор» проблемным, однако через месяц после признания муниципалитет отменил свое решение. Вышеупомянутый ЖК «Белые росы» в г.о. Котельники не признан проблемным, хотя просрочка составляет 2 года 4 месяца. В данный момент муниципалитет оспаривает судебное решение суда о признании объекта проблемным в апелляционной инстанции. ЖК «Грин сити» (г.о. Люберцы) – после смены застройщика объект удален из перечня проблемных, однако стройка не ведется и новым инвестором;

  • Многие покупатели недвижимости недостаточно активны и плохо знают законодательство, для того чтобы попасть в официальные списки, а также не пользуются форумом novostroykin.ru для обсуждения своих проблем. Например, ЖК «Лобня Сити» при задержке сдачи более 2-ух лет, ЖК «Котельнические высотки» с задержкой сдачи 6 месяцев не значатся ни в одном из вышеупомянутых списков;

  • Случаев достоверного «исцеления» объектов от проблемности исчезающе мало и ими в рамках полученной статистики можно пренебречь.



  • Таким образом, есть все основания полагать, что проблемных объектов в выборке гораздо больше, чем удалось выявить. Будем работать с тем, что удалось классифицировать по открытым источникам.



    Результаты



    Вероятность долгостроя при покупке новостройки рассчитывалась как отношение количества долгостроев ко всем новостройкам, с плановым сроком сдачи хотя бы одного корпуса до 30.06.2017 (в поле «Сдача в эксплуатацию»). Срок сдачи до 30.06.2017 выбран, так как по законодательству, объект может попасть в официальные перечни долгостроев только после задержки от 6 месяцев и выше. Если поле «срок сдачи» было пусто или «нет данных», из базы для расчета такой объект не удалялся. Стоит отметить, что на новостройкине поле «Сдача в эксплуатацию» содержит не первоначальный, а откорректированный срок сдачи, что занижает вероятность долгостроя. Например, ЖК «Котельнические высотки»: согласно проектной декларации срок сдачи 2 квартал 2017, согласно новостройкина — 1 квартал 2018. Поэтому в наших расчетах этот ЖК не участвует.



    По нашим данным, вероятность покупки долгостроя в Московской области составила 15%. По обсуждавшимся выше причинам (не все долгострои, постоянное обновление срока сдачи) вычисленный показатель является оценкой снизу, реальная величина может быть выше. Однако и он вдвое выше, чем «уровень токсичности строительной отрасли в 7%» из официального заявления министра строительства и жилищно-коммунального хозяйства РФ Меня М.А. Мы не беремся судить вызвано ли такое расхождение различием в данных или в методике расчета или особым масштабом проблемы в Подмосковье. Однако, помимо покупки заведомого долгостроя (в нашей выборке таковых 222), также возможен риск покупки самостроя — таких объектов порядка 200 на конец 2017 года, 400 на конец 2012 года по данным Министерства строительного комплекса МО. Оценка того, как пересекаются самострои с нашей выборкой, не проводилась.



    Мы представили результаты по всей базе – для новостроек, строительство которых началось/завершилось в разные периоды. Интереснее было бы рассчитать вероятность долгостроя в разрезе года начала строительства, первоначального срока завершения объекта. Однако такими данными мы не располагаем.



    В таблицах ниже приведены вероятности долгостроя в разрезе муниципалитетов Московской области (не является указанием к действию!)



    Таблица №1. Вероятность долгостроя в муниципалитетах со слабой строительной активностью (в продаже менее 10 объектов)



    Парсинг сайтов или долгострои Московской области



    Таблица №2. Вероятность долгостроя в муниципалитетах со средней и сильной строительной активностью (в продаже более 10 объектов)



    Парсинг сайтов или долгострои Московской области



    Источник: Хабрахабр

    Категория: Программирование

    Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
    Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

    Добавление комментария

    Имя:*
    E-Mail:
    Комментарий:
    Полужирный Наклонный текст Подчеркнутый текст Зачеркнутый текст | Выравнивание по левому краю По центру Выравнивание по правому краю | Вставка смайликов Выбор цвета | Скрытый текст Вставка цитаты Преобразовать выбранный текст из транслитерации в кириллицу Вставка спойлера
    Введите два слова, показанных на изображении: *