Парсер сайтов: запустите сбор данных и смотрите, как он идёт
Выберите источник и параметры — парсер на сервере обойдёт страницы, а прогресс и лог появятся здесь в реальном времени. Результат — таблица с поиском и сортировкой, график и выгрузка в Excel или CSV.
Это демо-проект Тимура Семенеева. Источники — учебные сайты для практики парсинга и официальный XML-API Банка России. Чтобы не нагружать ни их, ни сервер, есть лимиты на страницы, очередь и кэш.
Что собираем
Результаты
Как это устроено
Тот же подход я использую в коммерческих парсерах: асинхронный сбор, аккуратная нагрузка на источник, повторяемые выгрузки и понятный лог.
Прогресс вживую
Сервер шлёт события через Server-Sent Events: строки лога, проценты, новые записи. При обрыве соединение восстанавливается.
Очередь и лимиты
Не больше двух парсингов одновременно, остальные ждут в очереди. Лимиты на страницы и запуски с одного IP, таймауты и пауза между запросами.
Кэш
Одинаковый запрос в течение 10 минут отдаётся из кэша — источник не дёргается лишний раз, а ответ приходит мгновенно.
Excel и CSV
XLSX с шапкой, форматами чисел и дат, автофильтром и закреплённой строкой. CSV — в UTF-8 с BOM и «;», открывается в Excel без кракозябр.
Нужен парсер под вашу задачу?
Цены конкурентов, каталоги поставщиков, объявления, отзывы — с выгрузкой в Excel, Google Таблицы или вашу CRM по расписанию.