Услуга · сбор данных
Разработка парсеров на заказ
Делаю парсеры и интеграции под конкретную задачу. Сначала проверяю официальный API, экспорт и условия источника, затем собираю нужные поля и отдаю их в рабочем формате. Avito, Wildberries, Ozon, 2ГИС, цены и контакты.
Что парсим
Чаще всего приходят с этим
Это частые задачи, а не обещание доступа к любой площадке. Для каждого источника отдельно проверяю API, экспорт, условия использования и права заказчика; если допустимого канала нет, не закладываю обход в коммерческое предложение.
Avito и классифайды
Интеграция с данными вашего аккаунта через доступный API или разрешённую выгрузку. Публичные объявления и изменения цены — только если условия конкретной площадки допускают такой мониторинг.
Маркетплейсы
Wildberries, Ozon, Яндекс Маркет: данные собственного магазина через официальные API; публичные цены и карточки конкурентов — из разрешённых источников или лицензированных фидов.
Цены конкурентов
Регулярный съём цен с сайтов и маркетплейсов конкурентов на ваш ассортимент. Сравнительная таблица, история изменений, уведомление при демпинге.
Данные 2ГИС и справочников
Для 2ГИС — постановка официальной выборки, очистка и интеграция. Для других справочников сначала проверяем условия источника, затем выбираем допустимый способ получения данных.
Контакты и лиды
Сбор и обработка B2B-контактов из источников, которые допускают нужный способ получения. На выходе — структурированная база для CRM; правила дальнейшей коммуникации проверяются отдельно.
Своя задача
Сайт, кабинет или каталог с разрешённым доступом заказчика. До оценки проверяю условия источника, доступный API или экспорт и только затем предлагаю архитектуру.
Как устроена работа
От задачи до готовых данных
- 01
Разбираем задачу
Какие сайты, какие поля, как часто, в каком виде нужны данные. Сразу честно говорим, где будут сложности (защита, капча, объём) и сколько это стоит.
- 02
Прототип на ваших данных
Собираем небольшую выгрузку с реального источника, чтобы вы увидели формат и качество до того, как платить за полную разработку.
- 03
Выбираем допустимый канал
Сначала использую официальный API, экспорт или фид. Сбор с публичных страниц предлагаю только когда он совместим с условиями источника; технические запреты не маскирую под инженерную задачу.
- 04
Выгрузка и интеграция
Отдаём данные в нужном виде: Excel, Google Таблицы, CSV, база данных или API. По расписанию или по кнопке — как удобно.
- 05
Поддержка
Сайт-источник меняется — чиним. По желанию ведём мониторинг и сами сообщаем, если что-то сломалось или источник закрыл доступ.
Что вы получите
Данные в том виде, в котором с ними удобно работать
- Excel / CSV — открыть и работать сразу
- Google Таблицы — данные обновляются на месте
- JSON / REST API — для интеграции в ваш продукт
- База данных — PostgreSQL, выгрузка в вашу систему
- По расписанию или по запросу — cron, кнопка, вебхук
- Дедупликация и очистка — без дублей и мусора
Частые вопросы
Что обычно спрашивают про парсинг
Это законно?
Публичная доступность страницы сама по себе не даёт универсального разрешения на автоматический сбор и дальнейшее использование данных. До старта проверяю условия площадки, права заказчика, доступный API или экспорт и состав данных. Юридическое заключение по бизнес-процессу не выдаю за часть разработки.
Сколько стоит разработка парсера?
Зависит от числа источников, объёма, наличия защиты и того, разовая это выгрузка или регулярный сбор. Простой парсер одного сайта стоит заметно дешевле, чем устойчивый сбор с маркетплейса под антиботом. После короткого обсуждения называем фиксированную цену под вашу задачу — без «звоните, рассчитаем».
Сколько времени занимает?
Прототип-выгрузку с одного источника обычно показываем в течение нескольких дней. Полная разработка с обходом блокировок и интеграцией — дольше, точный срок называем после разбора задачи.
Что будет, когда сайт-источник поменяется?
Парсеры ломаются — это нормально, сайты меняют вёрстку и защиту. Мы делаем код устойчивым к мелким правкам, а крупные изменения чиним по поддержке. Можем вести мониторинг и сами сообщать о сбое раньше, чем вы его заметите.
В каком виде я получу данные?
Как удобно: Excel, Google Таблицы, CSV, JSON, выгрузка в базу данных или доступ по API. Один раз или по расписанию. Формат согласуем заранее, чтобы данные сразу легли в ваш процесс.
Делаете разовый сбор или постоянный мониторинг?
И то, и другое. Бывает нужна одна выгрузка для анализа, бывает — ежедневный мониторинг цен или новых объявлений с уведомлениями. Под регулярный сбор настраиваем расписание и контроль, чтобы он работал без вашего участия.