Парсинг карточки товара Wildberries
Задача
Нужно было собирать карточки товаров Wildberries по поисковым запросам, устойчиво обходить лимиты и сохранять данные для дальнейшей аналитики.
Моя роль
Разработка архитектуры парсера: работа с сессиями и прокси, извлечение данных, контроль лимитов, экспорт и устойчивость длительного запуска.
Что сделал
- — Разработан механизм устойчивой работы с лимитами API‑эндпоинта для получения карточек по текстовому запросу
- — Достигнута скорость обработки в среднем от 0.5 до 1 секунды на один запрос
- — Выполнено около 150 000 запросов без потери стабильности и качества выдачи
- — Настроен сбор структурированных данных для последующей аналитики и мониторинга ниши
- — Реализована архитектура, пригодная для длительных серийных запусков под нагрузкой
Результат
Парсер стабильно собирает большие объёмы данных по поисковой выдаче Wildberries, выдерживает длительную нагрузку и даёт структурированную базу для анализа товаров.
Технологии
Ключевые решения
- • Обход ограничений по частоте запросов без деградации качества выдачи
- • Комбинация Playwright, управления сессией и мобильных прокси для стабильного сбора данных
- • Оптимизация цепочки запросов до 0.5–1 секунды на один поисковый запрос
- • Масштабирование сценария до 150 000 запросов в рабочем режиме