Парсинг объявлений недвижимости
Объявления собираются по вашим фильтрам, одно и то же жильё сводится в один объект, а цена, срок экспозиции и снятие пишутся в историю.
- Разработкаот $1,400
- Срок1–3 нед.
- Поддержкаот $420/мес
Кому подходит: Агентства, инвесторы и застройщики, которые видят один объект как пять объявлений от пяти агентов и не знают, сколько он висит в продаже и сколько раз двигали цену.
Состав первой версии
- фильтры поиска
- склейка объявлений
- история цены
- оповещения
Цифры выше это пакет, на котором это стоит: Парсинг, реверс-инжиниринг источника. Всё, что выходит за его границы, калькулятор добавит до начала работ, а не после.
Как проходит путь
- 01
Лента читается по фильтрам
Прогон разделяет три вещи: объявление появилось, изменилось или исчезло, и различие делается на сборе, а не восстанавливается потом.
- 02
Объявления сводятся в объект
Адрес, этаж, площадь и планировка сходятся: пять агентов, одна квартира, одна запись, а история цены пишется на объект.
- 03
История переживает объявление
Снятие с публикации это событие, а не пробел: у объекта остаётся срок стояния, все движения цены и возврат.
Что решает, будет это работать или раздражать
Переподача это не новый объект
Дата публикации обнуляется при переподаче, поэтому срок считается от первого появления объекта в вашей базе, а не от неё.
Склейка ошибается в обе стороны
Несработавшая склейка раздувает рынок, лишняя смешивает истории двух квартир, поэтому автоматически сводится только сильное совпадение, и любую склейку можно разъединить.
Запрошенная цена это не сделка
История объявлений говорит, сколько просили и сколько раз снижали, а торг остаётся за пределами площадки, и число так и названо запрошенным.
Что мерить после запуска
- объявлений, сведённых в объекты автоматически
- спорных склеек, ждущих человека
- время от появления объявления до оповещения
- объектов с непрерывной историей цены
Почему это выходит быстрее
Форма этой задачи известна: состояния, крайние случаи и то, что обычно ломается, здесь уже продуманы. Шаблоном при этом ничего не делается, и экономия идёт не из вашей половины работы. Она уходит в ваш процесс, ваш контент и системы, с которыми это должно разговаривать, то есть в ту часть, которую заранее решить нельзя.
Возможный стек под это
Выбирается под задачу на разборе, а не решается заранее. Это полка, с которой его обычно берут.
- СборPythonPlaywrightGoDocker
- Склейка и историяPostgreSQLClickHousepgvectorOpenAIRedisS3
- Расписание и оповещенияTemporaln8nTelegram Bot APIGrafana
Посчитайте цену сами, прямо здесь
Пять шагов, и увидеть цифру можно без контактов. Расчёт учитывает тип работы, что у вас уже готово и что понадобится внутри.
Эти счета придут не от нас
- прокси и обход капчи для закрытых площадок
- геокодирование и карты
- обращения к AI-моделям при сравнении описаний
- хостинг и хранилище фотографий из истории
Спрашивают до первого созвона
- Это законно?
- Публичные параметры объекта и запрошенная цена как правило да. Телефоны, имена и всё, из чего складывается база контактов, мы не собираем: это отдельное регулирование, и площадки проверяем до сметы.
- Насколько точно склеиваются дубли?
- Долю не назовём, пока не увидим ваш город и площадки. Обещаем другое: автоматически сводится только сильное совпадение, спорное уходит человеку, доля видна на экране, любую склейку можно разъединить.
- Будут ли реальные цены сделок?
- Нет, и никакой сбор объявлений их не даёт: система показывает запрошенную цену, снижения и срок, и этого хватает, чтобы видеть переоценённые лоты. Данные реестра это отдельный разговор.