MarketParser — проект который развивается с 2015го года (именно тогда были написаны первые строчки кода) и начинался он как сервис который мониторил только цены на Яндекс.Маркете. С того времени многие изменилось (и мало что осталось с самых первых версий), сервис рос и развивался и сейчас, в 2025 году он представляет собой целую экосистему «заточенную» под сбор больших объемов данных на ежедневной основе. 

Сотни миллионов цен проходят через «наши руки» каждую неделю и чтобы эти данные не превращались в белый шум одновременно трудятся десятки «сервисов» каждый из которых отвечает за свои задачи.

Сервисы входящие в экосистему Мониторинга и репрайсинга MarketParser.ru

  • Пользовательские сервисы
    • Парсер
    • Онлайн панель
    • Парсер категорий
    • Парсер отзывов
    • Парсер сайтов
    • Парсер прайс-листов
    • Репрайсер
  • Служебные сервисы
    • Сервис оповещений
    • Сервис работы с прокси
    • Сервис работы с капчей
    • Сервис скриншотов
    • Сервис мониторинга инфраструктуры
    • Сервисы автоматического тестирования и доставки кода

Пользовательские сервисы

Парсер

Самый «старый» из сервисов группы. Он отвечает за формирование отчетов и непосредственный сбор большей части данных. Размещается на группе серверов с автоматической балансировкой нагрузки и обрабатывает десятки и сотни тысяч страниц в минуту выполняя задачи по извлечению информации.

Активно взаимодействует с клиентами через веб-интерфейс, почту, API и другими сервисами экосистемы.

Онлайн Панель

Относительно новый сервис предназначение которого в агрегации, обогащении и визуализации собранных данных для удобства их использования человеком. Помогает пользователям с навигацией среди огромных массивов информации с помощью онлайн-отчетов в виде таблиц и графиков, позволяет организовать совместную работу с отчетами.

Парсер категорий

Сервис предоставляющий возможность сбора данных не по отдельным товарам а по выбранным категориям и брендам на маркетплейсах и крупных онлайн сайтах. Менее производительный чем его старший брат, но более простой и гибкий. Используется для подготовки данных для регулярного сбора через основной парсер или для импорта данных в онлайн панель (например, для категорийного анализа или работы с характеристками и классификатором).

Парсер отзывов

Сервис собирает отзывы по выбранным товарам или категориям для дальнейшего анализа: оценки, автор, дата-время, текст отзыва. Интегрируется с системами анализа текстов для определения тональности и систематизации отзывов. Полезен для защиты бренда и управления репутацией.

Парсер сайтов

Небольшой сервис позволяющий собирать каталоги сайтов целиком или частично. Используется при поиске ссылок и для задач автоматического «матчинга» товаров, а так же поиска конкурентов.

Парсер прайс-листов

Сервис который в отличии от остальных парсеров обрабатывает не страницы в интернете а прайс-листы (которые получает по почте, через «кабинет» или по ссылкам. Предназначен для анализа цен (как правило b2b) которые не публикуются открыто на онлайн площадках.

Репрайсер

Предназначен для активного взаимодействия с маркетплейсами и работой с ценообразованием. Активно обменивается данными с Парсером, выполняет моделирование и расчеты для определения цены продавца, обновляет цены в кабинетах селлера, входит и выходит из акций, следит за остатками товаров и делает много другой поле-зной работы направленной на максимизацию прибыли селлера, и автоматизации торговли в отведенных рамках. По состоянию на 18/08/2025 поддерживает «из коробки» маркетплейсы: ОЗОН, Яндекс.Маркет, Вайлдбериз, Kaspi.kz

Сервис оповещений

Если цена на ваш товар вышла за отведенные рамки, запасы на складе истощились или конкурент уронил цену ниже РРЦ — именно этот сервис отправит вам письмо или сообщение в телеграм. Он же оповестит дежурного разработчика о нештатной работе системы чтобы мы исправили проблему до того как она начнет мешать бизнесу наших клиентов.

Служебные сервисы

Сервис работы с прокси

Собирает списки прокси с десятка подписных сервисов, анализирует их работу, распределяет под задачи между потребителями прокси и следит за статистикой использования и лимитами. Незаменим для одновременной работы большого количества парсеров.

Сервис работы с капчей

Распределяет задачи на решения разных видов капч по различным сервисам (те что не может решить сам), собирает результаты разгадываний, отслеживает статистику успешности и стоимость разгадываний. Позволяет снизить затраты на обход блокировок.

Сервис скриншотов

Сохраняет копии страниц (как правило с нарушениями РРЦ) для дальнейшего анализа или использования в отчетах (например — в онлайн панели). Позволяет разблокировать сбор данных беря на себя столь ресурсоемкую задачу, он же предоставляет доступ к сохраненным страницам и ведет архив.

Сервис мониторинга инфраструктуры

Учитывая что вся инфраструктура разбросана по десяткам серверов следить за их «здоровьем» вручную — задача нерешаемая. За то чтобы мы узнавали о нетипичном поведении наших серверов до того как они упадут под нагрузкой или выйдут из строя у нас развернута система онлайн-мониторинга, которая ежеминутно собирает телеметрию со всех серверов компании и сигнализирует о выходе за разрешенные рамки.

Сервисы автоматического тестирования и доставки кода

Ввиду того что наши сервисы изначально разрабатывались согласно подходу CI/CD, который предполагает полную автоматизацию доставки изменений в «боевую» инфраструктуру есть небольшая группа сервисов которая отвечает за автоматическую сборку, тестирование и развертывание изменений.

Так на чем же написан сервис?

Тому кто дочитал до этого места очевидно что ответить на этот вопрос нельзя. Но это не значит что нельзя попытаться.

Хранение данных: mySQL, pgSQL, ClickHouse, Reddis
Диспетчер задач: RabbitMQ
Парсинг: Python, PHP, Java, Go
Интерфейсы: PHP, React, NextJS