Парсинг товаров и каталогов
Чаще всего задача звучит так: у поставщика есть каталог на сайте и нет нормальной выгрузки. Значит выгрузку делаем мы.
Выгрузки каталогов почти всегда связаны с конкурентной разведкой заказчика, поэтому публично мы такие проекты не показываем. Формат работы объясню на примере.
Типовые случаи: перенести каталог поставщика в свой магазин, собрать характеристики для сравнения, следить за наличием и ценами, забрать данные с площадки, у которой нет обмена. Отдельная задача — привести собранное к своему формату: у вас свои категории, свои названия характеристик и свои требования к описаниям.
Сложность обычно не в сборе, а в приведении данных в порядок. Характеристики у поставщиков лежат кучей в тексте описания, единицы измерения разные, категории не совпадают с вашими, у половины позиций нет главного параметра. Модель здесь вытаскивает параметры из свободного текста и раскладывает по колонкам, а правила проверки следят, чтобы в выгрузку не попал товар без цены или с ценой в другой валюте.
Практический совет: не тащите весь каталог сразу. Возьмите одну категорию, доведите её до состояния, в котором позиции можно публиковать без правок, и только потом расширяйтесь. Так вы увидите проблемы данных на маленьком объёме, а не после загрузки десяти тысяч карточек, половину которых придётся править руками.
Кому это нужно
Собирать чужие каталоги нужно не всем. Ниже — где это экономит месяцы и когда проще запросить прайс.
Магазинам и дилерам
Каталог поставщика нужно перенести к себе, а нормальной выгрузки у него нет.
Опту и производству
Характеристики и цены по рынку — основа решений о закупке и ассортименте.
Не нужно при малом каталоге
Двадцать позиций быстрее и лучше занести руками, чем настраивать сбор.
Что перестанете заполнять руками
Как выглядит выгрузка
Несколько примеров выгрузок, чтобы было понятно, что получается на выходе и в каком виде.
Из чего состоит сбор каталога
Что входит в сбор каталогов
Что уточняем сначала
Сбор — половина работы
Вторая половина — привести данные к вашему формату. Именно на ней экономят, а потом правят каталог руками.
Начинать с одной категории
Полный каталог сразу означает десять тысяч карточек с одинаковой ошибкой. Сначала обкатка на малом объёме.
Проверки перед загрузкой
Товар без цены или с ценой в другой валюте не должен попасть в магазин. Такие правила закладываются заранее.
Цены живут недолго
Разовая выгрузка устаревает за недели. Если торгуете этим постоянно, нужно расписание обновлений.
Как собираем каталог
Как посчитать экономию времени — цифры свои
Что получаете
Не сырая свалка данных, а разложенный по вашей структуре каталог, готовый к загрузке.
Ошибки при сборе товаров
Вот где сбор товаров обычно и ломается. Учтите, если пишете сборщик сами.
Взяли весь каталог сразу
Десять тысяч карточек с одной и той же ошибкой. Сначала одна категория до готовности.
Скопировали описания
Одинаковые тексты у всех магазинов вредят в поиске. Описания нужно переписывать.
Не поставили проверок
Товар без цены или в другой валюте попадает в магазин и продаётся себе в убыток.
Как заказать
Начнём с бесплатного разговора: какие сайты и какие товары. После него назову срок и цену.
Смежные задачи
Эти работы обычно заказывают вместе — данные требуют дальнейшей обработки.
Вопросы про сбор товаров
Сможете собрать каталог нашего поставщика?
Обычно да, если он опубликован на сайте. Посмотрю структуру и скажу честно — иногда проще договориться с поставщиком о выгрузке.
Картинки тоже собираются?
Да, с приведением к нужному размеру и формату. Права на использование изображений уточняйте у поставщика — это его зона.
Что с описаниями товаров?
Можно перенести как есть, но лучше переписать: одинаковые описания у всех магазинов вредят в поиске. Это отдельная задача, и она решается моделью.
Как часто обновлять цены?
Раз в сутки для большинства категорий, чаще — для быстро меняющихся. Слишком частый опрос вредит устойчивости сбора.