Мониторинг цен конкурентов: что проверить до заказа парсера

Допустим, магазин хочет каждое утро получать таблицу цен конкурентов. Разработчик собирает названия, ссылки и суммы. Таблица заполнена, но в одной строке сравниваются телефоны с разным объёмом памяти, в другой — обычная цена и скидка по карте, в третьей — товар в наличии и позиция под заказ.

Содержание
  1. Сначала выберите товары, которые можно сравнивать
  2. Запишите, какую именно цену собирать
  3. Не превращайте сбой сбора в изменение цены
  4. Выберите частоту под рабочее решение
  5. Настройте уведомления, которые можно проверить
  6. Как проверить результат перед запуском
  7. Что прислать для оценки задачи

Это условный пример, не клиентский кейс. Он показывает, почему задание на мониторинг стоит начинать с правил сравнения. Ниже — что согласовать, чтобы по собранным данным можно было принимать решения о своих ценах.

Сначала выберите товары, которые можно сравнивать

Для первой проверки возьмите небольшой список собственных товаров и подберите к ним страницы конкурентов вручную. Включите простые позиции и спорные случаи: комплект, другую фасовку, похожую модель. Так появится образец, по которому можно проверять автоматическое сопоставление.

Одного названия недостаточно. Договоритесь, какие признаки должны совпадать: бренд, модель, артикул производителя, объём, размер или комплектация. Внутренний артикул одного магазина не стоит автоматически считать общим для всех продавцов. В Schema.org поле SKU прямо описано как идентификатор, специфичный для продавца.

Отдельно задайте правила для вариантов товара. У одной модели могут различаться цвет, размер и другие характеристики. В документации Google о вариантах товара для них предусмотрены отдельные объекты Product внутри группы ProductGroup. Приведены и варианты с разными ценами. Для мониторинга это повод проверять конкретную модификацию, даже если название модели совпадает.

Если парсер нашёл похожий товар, но не смог подтвердить нужные характеристики, отправляйте такую пару на ручную проверку. До подтверждения её лучше исключить из расчёта разницы цен. Иначе ошибка сопоставления будет выглядеть как выгодное предложение конкурента.

Запишите, какую именно цену собирать

Фраза «текущая цена» оставляет слишком много вопросов. В задании укажите, для какого покупателя и при каких условиях вы сравниваете предложения.

Например, можно выбрать открытую цену за одну единицу товара без персонального промокода. Если для вашей задачи нужна цена участника программы лояльности, храните её отдельно с соответствующим условием. Перечёркнутую старую цену также не следует подставлять в колонку действующей.

Зафиксируйте регион проверки, валюту и единицу продажи. Упаковку и отдельную штуку можно сравнивать после пересчёта, если известно количество в упаковке и такое сравнение подходит для задачи. Когда количество не установлено, пересчёт будет догадкой.

Решите, входит ли доставка в сравниваемую сумму. Если она зависит от адреса и состава корзины, а этих данных нет, показывайте цену товара и пометку «доставка не учтена». Пустое поле стоимости доставки не означает, что она бесплатна.

Для результата сбора полезно согласовать такие поля:

  • собственный товар и ссылка на сопоставленное предложение;
  • продавец, если на одной площадке их несколько;
  • вариант товара и единица продажи;
  • действующая цена, валюта и условия скидки;
  • наличие и регион проверки;
  • время успешного получения данных и статус последней попытки.

Часть этих сведений сайт может публиковать в структурированной разметке. Например, в Offer предусмотрены цена price, валюта priceCurrency, наличие availability и сведения о доставке shippingDetails. Но наличие таких полей в стандарте не означает, что нужный сайт заполняет их полностью и без ошибок. На тестовых страницах сравните результат парсера с предложением, которое видит покупатель при тех же условиях.

Не превращайте сбой сбора в изменение цены

Если страницу не удалось открыть, парсер не узнал новую цену. Из этого нельзя заключить, что товар исчез, подешевел до нуля или остался по прежней цене.

Храните отдельно результат последнего успешного сбора и состояние новой попытки. В таблице может оставаться прежняя сумма, но рядом должны быть дата её получения и отметка, что обновление не удалось. Тогда сотрудник сможет отличить свежие данные от устаревших.

Наличие товара тоже требует отдельного правила. Надпись «нет в наличии», явно прочитанная на странице, отличается от ситуации, когда парсер вообще не нашёл блок наличия. Во втором случае корректнее записать «не определено» и проверить причину.

Для каждого запуска нужен короткий отчёт: сколько предложений планировали проверить, сколько получили, где возникли ошибки. Если один источник перестал отдавать данные, это должно быть видно до того, как таблица попадёт к сотруднику, который меняет цены.

Выберите частоту под рабочее решение

Если сотрудник пересматривает цены утром, начните с обсуждения сбора перед этой работой. Более частые запуски нужны, когда понятно, кто и как будет реагировать на изменения между проверками.

Согласуйте не только время старта, но и допустимый возраст данных. Обход списка занимает время: первая и последняя строки могут быть получены в разные моменты. Поэтому время сбора лучше хранить для каждого предложения, а не только для файла целиком.

Частоту придётся сопоставить с объёмом страниц и допустимой нагрузкой на источник. В инструментах сбора для этого есть технические ограничения. Например, AutoThrottle в Scrapy регулирует задержку по времени ответа сервера и учитывает настройки параллельных запросов. По умолчанию это расширение отключено. Его включение и ограничения нагрузки нужно предусмотреть в настройках парсера.

Само ограничение скорости не решает вопрос разрешения на сбор. До разработки проверьте правила источника и доступные способы получения данных. Если для задачи подходит официальный API или согласованная выгрузка, оцените их прежде, чем разбирать страницы. Правовые вопросы парсинга разобраны в отдельной статье; здесь речь о качестве сравнения, а не о разрешении собирать любой каталог.

Настройте уведомления, которые можно проверить

Сообщение «у конкурента дешевле» должно вести к конкретному предложению. Добавьте ссылку, свой товар, обе сравниваемые цены, время проверки и условия. Получатель должен понимать, почему система прислала уведомление и что открыть для проверки.

Порог уведомления согласуйте отдельно. Одному магазину нужна любая разница, другому — только изменение, после которого сотрудник готов пересматривать цену. Это рабочее правило заказчика, универсального порога здесь нет.

Не отправляйте сигнал о снижении цены, если товар не сопоставлен, цена устарела или условия предложений различаются. Для таких случаев полезнее отдельное уведомление о проблеме с данными. Повторные сообщения об одном и том же неизменном предложении также стоит ограничить.

В первой версии можно оставить изменение собственных цен за сотрудником. Если позже понадобится автоматическая переоценка, для неё придётся отдельно согласовать нижнюю границу цены, исключения и поведение при недостоверных данных. Парсер сам по себе этих решений не принимает.

Как проверить результат перед запуском

Приёмка по принципу «файл открывается и в нём много строк» не проверяет качество мониторинга. Подготовьте контрольные примеры и ожидаемый результат для каждого:

  • одинаковый товар у двух продавцов сопоставляется;
  • другая модификация или комплект не попадает в прямое сравнение;
  • цена по специальному условию не смешивается с обычной;
  • отсутствие товара отличается от ошибки чтения страницы;
  • неудачное обновление не заменяет прежнюю цену нулём;
  • уведомление содержит ссылку и время получения данных;
  • после изменения страницы ошибка сбора становится видна в отчёте.

Проверьте и пограничные случаи из своего каталога. Если продаёте расходные материалы, уделите внимание фасовке. Если технику — модификациям и комплектам. Критерии успешного теста лучше записать до разработки, чтобы заказчик и исполнитель одинаково понимали результат.

Что прислать для оценки задачи

Подготовьте список своих товаров, ссылки на предложения конкурентов и пример желаемой таблицы. Опишите, какую цену считать сравнимой, как часто нужны данные и кто будет разбирать спорные совпадения. Если источники ещё не выбраны, начните с нескольких реальных страниц, чтобы проверить доступность нужных полей.

По такому набору можно обсудить пробный сбор и проверить сопоставление до расширения каталога. Напишите, какое решение вы хотите принимать по результатам мониторинга: менять собственную цену, проверять наличие или получать уведомления. Это поможет определить состав первой версии без лишних полей и функций.

Технические сведения сверены с документацией 11 ноября 2026 года.