Суть: Урок о том, как превратить разрозненные таблицы Excel, выписки из Росреестра и геоданные в единое «Озеро данных» (Data Lake). Мы разберем, почему парсинг Циана — это только 30% успеха, как очистить данные от маркетинговых фейков и какие неочевидные признаки (фичи) повышают точность прогноза цены на 15%.

Результат: Вы сформируете структуру идеального датасета для обучения модели и поймете, как настроить ETL-процессы без раздувания штата IT.

Введение

Коллеги, начнем с аксиомы: Garbage In — Garbage Out. Самая сложная нейросеть с миллионом параметров выдаст вам бред, если на входе у нее будут «грязные» данные. В девелопменте это особенно критично: цена в объявлении часто отличается от цены сделки на 10–15%, а описание «5 минут до метро» может означать 5 минут на вертолете.

Сегодня мы строим фундамент. Мы не будем говорить о том, «как важно собирать данные». Мы разберем, какие конкретно поля нужны вашей модели, чтобы она видела рынок лучше, чем ваш коммерческий директор.

1. Источники данных: где лежит «Альфа»

Для построения прогнозной модели нам нужно свести воедино три слоя данных.

Слой А: Внутренние данные (Ваш CRM и ERP)

Это ваша база правды. То, что реально происходит в продажах.

Что берем: Реальная цена сделки (с учетом скидок и рассрочек), срок экспозиции лота, портрет покупателя, конверсия из брони в сделку.
Зачем: Это «target» (целевая переменная), на которой модель будет учиться предсказывать реальность, а не фантазии рынка.

Слой Б: Внешний рынок (Парсинг и Агрегаторы)

Источники: Классифайды (Cian, Avito, Домклик), сайты конкурентов.
Проблема: Это «цены хотелок», а не сделок. Плюс дубли (один лот от 5 агентств).
Решение: Нам нужен исторический срез. Не просто «сколько стоит сейчас», а «как менялась цена за последние 6 месяцев».

Слой В: Окружение и Гео-аналитика (Enrichment)

Самый недооцененный слой. Цена квадрата зависит не от стен, а от локации.

OSM (OpenStreetMap): Координаты парков, школ, ТЦ, промзон.
Транспорт: Изохроны (время в пути) до центра, до метро, до выезда на КАД/МКАД.
Росреестр: Данные о регистрации ДДУ (показывает реальный темп выбытия у конкурентов).

2. Очистка и Feature Engineering (Конструирование признаков)

Сырые данные бесполезны. Модели не понимают адрес «ул. Ленина, д. 5». Им нужны цифры. Процесс создания новых полезных переменных называется Feature Engineering.

Пример 1: Очистка от аномалий

Если в выборке есть квартира за 500 тыс. рублей в центре Москвы — это либо ошибка ввода, либо доля, либо мошенничество. Такие выбросы нужно отсекать по квантилям (например, убираем топ-1% самых дорогих и дно-1% самых дешевых), иначе модель «сойдет с ума».

Пример 2: Гео-фичи

Вместо названия района мы скармливаем модели расстояние до ключевых точек.

Практический пример на Python:

Как превратить координаты квартиры и метро в конкретный признак «Расстояние в метрах».

import pandas as pd
from geopy.distance import geodesic

# Пример сырых данных (обычно это DataFrame из тысяч строк)
data = {
    'lot_id': [101, 102],
    'coords_flat': [(55.7558, 37.6173), (55.7000, 37.5000)], # Широта, Долгота
    'coords_metro': [(55.7512, 37.6184), (55.7050, 37.5100)] 
}
df = pd.DataFrame(data)

def calculate_distance(row):
    """
    Вычисляет расстояние в метрах между квартирой и станцией метро
    """
    return geodesic(row['coords_flat'], row['coords_metro']).meters

# Создаем новый признак 'dist_to_metro_m'
df['dist_to_metro_m'] = df.apply(calculate_distance, axis=1)

print(df[['lot_id', 'dist_to_metro_m']])
# Результат:
# 101: 515.3 метров
# 102: 830.1 метров

Какие еще фичи критически важны:

Этажность/Вид: Если у вас нет 3D-модели города, используйте простую эвристику: этаж / этажность дома. 15-й этаж в 15-этажке (последний) и 15-й в 40-этажке — это разные цены.
Конкурентное давление: Количество активных лотов в радиусе 1 км того же класса.
Стадия строительства: Котлован стоит дешевле готового. Этот коэффициент модель должна выучить сама, если вы подадите ей % готовности дома.

3. Инфраструктура: Хранилище данных

Нельзя хранить это в Excel. Вам нужна автоматизированная система (ETL-пайплайн).

Сбор (Extract): Скрипты-парсеры запускаются каждую ночь.
Трансформация (Transform): Данные чистятся, геокодируются (превращаются в координаты), обогащаются данными Росреестра.
Загрузка (Load):
- PostgreSQL (с расширением PostGIS): Идеально для хранения геоданных.
- ClickHouse: Если у вас миллиарды строк исторических данных и нужна мгновенная аналитика.

Задание (Техническое задание на данные)

Представьте, что вы готовитесь к инвестиционному комитету по новому участку. Вам нужно собрать Датасет для оценки его потенциала.

Составьте Data Dictionary (Описание данных) из 10 пунктов.

Какие параметры вы будете собирать по конкурентам в локации?

Формат: Название поля — Тип данных — Зачем нужно.
Пример: time_to_center_peak (число, минуты) — время в пути до центра в час пик (пробки снижают цену).

Это задание поможет вам четко формулировать ТЗ для ваших IT-специалистов или внешних подрядчиков по парсингу.

Краткие итоги урока

Качество важнее количества. Лучше иметь 1000 проверенных сделок, чем 100 000 «мусорных» объявлений с Авито.
Гео-контекст решает. Координаты сами по себе ничего не значат. Важны производные метрики: расстояние, плотность застройки, инфраструктурный индекс.
Динамика, а не статика. Собирайте данные регулярно. Модели нужно видеть, как менялась цена во времени, чтобы предсказать тренд.