Михаил ЛопатинМоскваДмитровское шоссе д. 50 оф.240

Блог

Блог

Парсинг Авито: робот собирает и оценивает квартиры

Дизайн
Аватар
Баннер поста

В прошлом месяце ко мне попал отчёт агентства недвижимости, где строка «мониторинг рынка» стоила 45 000 рублей в месяц. За эти деньги сотрудник вручную открывал Авито, копировал объявления в таблицу и красил их разными цветами. 45 тысяч за то, что делает бесплатный скрипт за пятнадцать минут ночью.

Эта цифра меня и зацепила. Не потому что дорого — потому что за неё продавали работу, которую давно никто не должен делать руками. Давайте разберу, как устроен робот, который сам собирает квартиры и ставит им честную оценку, и во сколько это обходится на самом деле.

Робот каждое утро собирает квартиры с Авито и ставит им оценку: как это устроено

📋 Откуда взялась цифра в 45 тысяч и почему за неё стыдно

В том отчёте было написано красиво: «ежедневный анализ конкурентной среды по трём районам». По факту — девушка-стажёр четыре часа в день перекладывала объявления в Excel.

Разложу её рабочий день по-честному:

— открыть Авито, выставить фильтры — 10 минут — пролистать 60–80 объявлений, скопировать нужные — 2 часа — вычистить дубли и явный мусор — 40 минут — посчитать среднюю цену за метр по каждому району — 1 час

Итого около четырёх часов ежедневно. При зарплате даже в 40 000 рублей это примерно 250 рублей в час, а с налогами и рабочим местом — под 350. Умножаем на 80 часов в месяц — вот они, те самые 45 тысяч, только теперь понятно, за что.

Проблема даже не в деньгах. Проблема в том, что данные устаревают за сутки, а человек ошибается: пропускает объявления, дублирует, ставит оценки на глаз.

🕗 Что делает робот, пока вы спите

Робот — это небольшая программа, которая запускается сама в назначенное время. Скажем, в шесть утра. Работает она так.

Сначала заходит на страницу Авито с вашими фильтрами — район, число комнат, диапазон цен. Затем построчно снимает данные с каждого объявления: адрес, площадь, этаж, цену, дату публикации.

Дальше самое полезное — считает цену за квадратный метр по каждой квартире и сравнивает её со средней по выборке. И ставит оценку: эта квартира дешевле рынка на 12%, эта дороже на 8%.

К половине седьмого у вас в почте или в таблице готовый список. Открываете кофе и сразу видите, где сегодня появилось что-то недооценённое.

Один мой клиент, частный риелтор из Ростова, так ловит квартиры «на срочную продажу». Раньше он их находил через неделю, когда цену уже сбили конкуренты. Теперь получает сигнал утром и звонит собственнику первым.

⚙️ Из чего этот робот собран на самом деле

Тут я развею туман, который подрядчики любят напускать. Никакого волшебства внутри нет, там три простых части.

Первая — сборщик страниц. Он открывает нужные адреса и забирает содержимое. Это самая обычная задача, ей десятки лет.

Вторая — разборщик. Он вытаскивает из мешанины кода конкретные числа: цену, метраж, этаж. Раньше это писали программисты вручную и мучились, когда сайт менял вёрстку. Сейчас с этим справляется нейросеть: ей показываешь кусок страницы и говоришь простыми словами — «вытащи отсюда цену, площадь и адрес, верни таблицей». Она возвращает.

Третья часть — счётчик и оценщик. Он делит цену на метры, находит среднее, отклонения и раскрашивает результат.

Вот и вся механика. Связать эти три части между собой — вопрос настройки, а не гениальности.

💰 Считаем, сколько это экономит за месяц

Возьмём то же агентство с их стажёром и 80 часами в месяц.

Робот делает ту же работу за 15 минут в сутки, причём без участия человека. За месяц это примерно 7–8 часов машинного времени, которое ничего не стоит — сервер работает сам.

Считаем экономию по деньгам:

— было: 45 000 рублей в месяц на ручной труд — стало: около 1 500–2 000 рублей в месяц на сервер и запросы к нейросети — разовая настройка робота: от 15 000 до 40 000 рублей, смотря сколько площадок и фильтров

То есть вложение окупается меньше чем за месяц, а дальше идёт чистая экономия под 43 тысячи ежемесячно. За год — больше полумиллиона рублей, которые раньше уходили в перекладывание ячеек.

И это только про деньги. Отдельно вы получаете скорость: сигнал о выгодной квартире не через неделю, а в шесть утра.

🚩 Где подрядчики завышают и как это поймать

Раз уж вы платите за такую автоматизацию, покажу типичные приёмы, на которых накручивают счёт.

Первый — «ежемесячная плата за парсинг». Вам говорят: сбор данных стоит 30 000 в месяц. Спросите, за что именно платится ежемесячно. Настройка делается один раз. Дальше робот работает сам, ежемесячные расходы — это только сервер и запросы, а это тысячи, не десятки тысяч.

Второй приём — раздувание «сложности». «У нас уникальный алгоритм оценки». Никакого уникального алгоритма нет: это деление цены на метраж и сравнение со средней. Если вам не могут объяснить логику оценки простыми словами за две минуты — вас водят за нос.

Третий — привязка к себе. Робота настраивают так, что без подрядчика он «не работает», а доступов вам не дают. Требуйте, чтобы всё лежало на вашем сервере и вашей почте.

Был случай: клиенту выставили 90 000 за «разработку системы мониторинга». По факту там был готовый бесплатный инструмент, обёрнутый в красивое слово. Мы разобрали смету по строкам, и половина позиций оказалась воздухом.

Вывод простой: платите за настройку под ваши задачи, а не за туман.

🔧 Где робот спотыкается и что я доделывал руками

Не буду рисовать сказку. Есть места, где всё идёт не гладко.

Авито не любит роботов и иногда просит проверку — ту самую с картинками. Первый мой сбор данных упёрся именно в это: после сорока страниц сайт перестал отвечать. Пришлось замедлить робота, чтобы он вёл себя как обычный человек — открывал страницы не залпом, а с паузами.

Вторая беда — грязные данные. В объявлениях пишут площадь то с точкой, то с запятой, то «студия 24/12/6». Нейросеть иногда путается. Пришлось добавить проверку: если метраж меньше 10 или больше 300 — строка отбраковывается как ошибочная.

Третья мелочь — дубли. Одну и ту же квартиру выкладывают три агентства. Робот их считал за три разных. Сделал сравнение по адресу и площади: совпало — оставляем одну.

На отладку всего этого ушло около трёх вечеров и примерно двадцать запусков, пока данные не стали чистыми. Это честная цифра, а не «настроил за час».

🧰 Чем собирать: инструменты и их цена

Если хотите понимать, из чего складывается смета, вот ориентиры.

— Сборщик страниц. Есть бесплатные библиотеки, есть платные сервисы обхода блокировок — от 1 500 рублей в месяц при небольших объёмах. — Нейросеть-разборщик. Оплата по количеству запросов. На один район с ежедневным сбором уходит в среднем 300–800 рублей в месяц. — Хранилище. Обычная Google-таблица бесплатно, либо простая база — тоже копейки. — Планировщик запуска. Встроен почти везде бесплатно.

Итого рабочая связка на один-два района — около 2 000 рублей в месяц текущих расходов. Всё, что вам называют сверху, — это либо работа по настройке, либо накрутка.

📝 Что можно собрать самому за вечер

Если хочется попробовать руками, без программиста, вот посильный минимум.

— Заведите таблицу с колонками: адрес, площадь, цена, цена за метр, оценка. — Раз в день вручную закидывайте туда 15–20 объявлений. — В соседней ячейке настройте формулу: цена делить на площадь. — Ещё одна формула посчитает среднюю цену за метр по всей таблице. — Условным форматированием покрасьте зелёным всё, что дешевле среднего на 10% и больше.

Это уже половина того, что делает робот, — оценка и подсветка выгодного. Не хватает только автосбора. Зато вы своими руками поймёте логику и перестанете верить в «уникальные алгоритмы».

Такой вечер экономит вам будущие переплаты подрядчикам: вы будете знать, что внутри.

🤝 Что делать самому, а что быстрее заказать

Разделю честно, без попытки всё замкнуть на себя.

Самому имеет смысл делать оценочную часть: таблицу, формулы, подсветку. Это просто и не требует навыков программиста. Ручной сбор 20 объявлений в день тоже посилен, если у вас один район.

Заказать быстрее автосбор с обходом блокировок и разбор данных нейросетью. Тут много подводных камней — проверки, дубли, кривые данные, — и вечер превратится в неделю, если делать с нуля без опыта. Мастер соберёт то же самое за пару дней и отдаст вам доступы.

Граница простая: логика — ваша, техническая обвязка — специалиста.

📨 С чем можно прийти ко мне

Если у вас каждый день кто-то вручную собирает цены конкурентов, объявления или заявки — пришлите, как это устроено сейчас, и я за 20 минут бесплатно скажу, можно ли это отдать роботу и в какие деньги. Дальше дам подробный план с фиксированной ценой.

Отдельно смотрю чужие сметы на автоматизацию: где настройка выдана за ежемесячную плату, где «уникальный алгоритм» оказался обычным делением, где вас привязали к подрядчику без доступов. Чаще всего люди сначала берут разбор или аудит сметы, а потом остаются на сопровождении — когда видят, что цифры сходятся.

Такие переплаты за «мониторинг рынка» я вскрываю почти в каждой второй смете и показываю разборы там, где вам удобнее читать — выбирайте любую площадку.

Telegram, ВКонтакте, MAX, YouTube, Instagram, Pinterest, мой сайт

Instagram принадлежит компании Meta, признанной в России экстремистской и запрещённой.