Прокси для парсинга маркетплейсов
Мониторинг цен и ассортимента — это регулярные однотипные запросы к одним и тем же карточкам. Именно такой профиль трафика площадки замечают быстрее всего: с одного адреса он выглядит как автоматический сбор, каким и является. Пул адресов распределяет запросы и позволяет снимать данные по расписанию.
От 1 375 ₽ в месяц за 100 потоков.
Потоков в тарифе
Адрес держится заданное время
Трафик на ротационных тарифах
Оба протокола
Профиль нагрузки при мониторинге цен
Задача обычно сводится к обходу фиксированного списка артикулов с известной периодичностью. Объём предсказуем: число позиций умножить на частоту съёма. Отсюда считается и нужное число потоков — оно зависит не от размера каталога, а от того, за какое окно нужно успеть его обойти.
Когда нужна ротация по таймеру
Часть площадок отдаёт карточку только внутри установленной сессии: сначала выдаётся cookie, потом по нему открывается контент. Ротация на каждый запрос такую цепочку разрывает. Для этих случаев ставится ротация по таймеру — адрес живёт достаточно долго, чтобы шаги прошли с одного IP.
Расписание и автоматизация
Съём по расписанию удобнее вести с авторизацией по IP: машина добавляется в whitelist, и скрипту не нужно хранить пароль. Если пул поднимается только на время съёма, тариф можно покупать и продлевать через REST API — тогда инфраструктура существует ровно столько, сколько идёт задача.
Что берут под эту задачу
Три продукта. Разница — в типе адреса и в том, меняется ли он: одним задачам нужен пул, другим — один постоянный IP.
- 10 разных /29 сетей
- Ротация: per-request или по времени
- Подключений сколько нужно
- HTTP, SOCKS5
- Логин/пароль и IP — одновременно
- 10 000+ IP-адресов в ротации
- Ротация: per-request
- Подключений сколько нужно
- HTTP, SOCKS5
- Логин/пароль и IP — одновременно
- 15 000+ статических IPv4
- Выделенные стабильные IP
- HTTP, HTTPS, SOCKS5
- Логин/пароль и IP — одновременно
Как подключиться
Настройка укладывается в одну строку: программе достаточно адреса шлюза с портом. Ротация происходит на нашей стороне, знать про неё программе не нужно.
- 1Выбрать тариф
Число потоков в тарифе должно быть не меньше того, что выставлено в программе, иначе часть подключений будет ждать освобождения слота.
- 2Получить доступы
Адрес шлюза, порты HTTP и SOCKS5, логин и пароль появляются в личном кабинете сразу после оплаты.
- 3Подставить в программу
Один адрес вместо списка: подойдёт любое поле, принимающее обычный прокси-сервер с авторизацией.
Частые вопросы
Короткие ответы на то, что спрашивают до заказа. Всё остальное — в поддержке, она отвечает круглосуточно.
Сколько потоков нужно для мониторинга каталога?
Исходите из окна съёма. Десять тысяч позиций за час — это около трёх запросов в секунду; с учётом времени ответа и повторов достаточно 50–100 потоков. Если то же количество нужно обойти за пять минут, потоков потребуется на порядок больше. Считать нужно от срока, а не от размера каталога.Российские площадки требуют российских адресов?
Не обязательно, но результат может отличаться: часть контента и цен зависит от региона запроса. Если данные нужны в том виде, в котором их видит покупатель из конкретной страны, берите адреса этой страны. В ротационном IPv6-пуле доступна Россия, в IPv4 — одиннадцать стран на выбор.IPv6 подходит для маркетплейсов?
Проверяйте на конкретной площадке. Часть сайтов не принимает IPv6-подключения — тогда сработает только IPv4, независимо от настроек прокси. IPv6 дешевле при равном числе потоков, поэтому имеет смысл сначала протестировать его на целевом ресурсе, а к IPv4 переходить, если IPv6 не отвечает.Данные снимаются легально?
Прокси — это транспорт, и ответственность за характер запросов лежит на стороне клиента. Сбор общедоступных данных, опубликованных площадкой для всех посетителей, — обычная практика конкурентной аналитики. Условия использования конкретного сайта и применимое к вам регулирование стоит проверять самостоятельно.
Другие сценарии
- Для многопоточного софта
- Для парсинга и скрапинга
- Для антидетект-браузеров
- Для капча-софта
- Для SEO и съёма выдачи
- Ротационные IPv6 и IPv4
- IPv6-прокси
- Статические датацентр-IPv4
Разобрано в блоге
- РазборПрокси для мониторинга цен на маркетплейсах: сколько адресов нужно на каталогЧестный расчёт вместо обещаний необнаруживаемости: как перевести число товаров и частоту обновления в потоки и допустимый темп запросов.Читать
- Решение проблем403 через прокси: отказал сайт, отказал прокси или дело вообще не в адресе403 приходит и от прокси, и от целевого сайта, и различить их можно не всегда. Разбор: где смотреть код Cloudflare, какие коды не лечатся сменой адреса и почему заголовки прокси — плохой тест.Читать
Пул под мониторинг цен
Ротационные тарифы с ротацией по таймеру для сессий. IPv6 от 650 ₽ за 50 потоков, страну можно выбрать. IPv4 от 1375 ₽ за 100 потоков, страны назначаются случайно.