Блог
Разбор· обновлено · 3 мин чтения

Ротация на каждый запрос или по таймеру: что выбрать

У ротационного пула два режима смены адреса, и выбор между ними — не вопрос вкуса. Неверный режим не выдаёт ошибку, он просто тихо ломает половину сценариев: страницы отдаются, а данные приходят не те.

В этой статье
  1. Ротация на каждый запрос
  2. Ротация по таймеру
  3. Какой интервал ставить
  4. Смешанный сценарий
  5. Как понять, что задача сессионная
  6. Сколько ставить и как не пересчитывать заново

Ротация на каждый запрос

Каждое обращение уходит с нового адреса. Это подходит, когда запросы независимы друг от друга: список товаров по прямым ссылкам, карточки по известным идентификаторам, проверка позиций по набору запросов. Нагрузка максимально размазывается по пулу, и на каждый отдельный адрес приходится минимум обращений.

Ротация по таймеру

Адрес держится заданный интервал, и все запросы внутри него уходят с одного IP. Это нужно везде, где сервер связывает шаги между собой через cookie или токен сессии.

  • Авторизация: логин выдаётся одному адресу, а следующий запрос приходит с другого — сессия недействительна.
  • Пагинация внутри выдачи: вторая страница часто привязана к той же сессии, что и первая.
  • Многошаговые формы и корзины, где состояние копится между запросами.
  • Площадки, которые сначала выдают cookie и только потом отдают контент.

Какой интервал ставить

Интервал должен покрывать самую длинную цепочку связанных запросов с запасом. Если авторизация и последующий сбор занимают полторы минуты, ставьте не меньше трёх: слишком короткий интервал разорвёт цепочку в середине, а слишком длинный просто снизит разнообразие адресов.

Практическое правило — начните с интервала вдвое длиннее вашей самой долгой цепочки и сокращайте, если данные собираются корректно. Увеличивать интервал после сбоев дороже: часть данных придётся собирать заново.

Смешанный сценарий

Если в одном проекте есть и то, и другое — например, авторизованный сбор и массовая проверка публичных страниц — разумнее развести их на два тарифа с разными режимами, чем компромиссно настраивать один. Тариф на 50 потоков стоит 650 ₽, и два узких почти всегда работают лучше одного универсального.

Как понять, что задача сессионная

Признак почти всегда один и тот же: одиночный запрос отрабатывает правильно, а последовательность из двух-трёх шагов ломается, причём каждый раз на разном шаге. Это и есть разрыв цепочки — каждый шаг уходит с нового адреса, и сервер видит несвязанные обращения от разных клиентов.

Проверить можно без кода. Сделайте нужную последовательность вручную через один статический адрес: если так всё проходит, дело в ротации, а не в сайте и не в вашем разборе ответа. Если и вручную не проходит — проблема в другом месте, и менять режим ротации бессмысленно.

  • Логин выдаёт cookie, а следующий запрос приходит с другого IP — сессия недействительна.
  • Вторая страница выдачи привязана к той же сессии, что первая.
  • Корзина или многошаговая форма копит состояние между запросами.
  • Площадка сначала отдаёт токен и только потом контент.

Сколько ставить и как не пересчитывать заново

Интервал должен покрывать самую длинную цепочку с запасом. Считать его удобно так: замерьте, сколько занимает полный проход по одному объекту от первого запроса до последнего, и удвойте. Слишком короткий интервал разорвёт цепочку в середине; слишком длинный просто снизит разнообразие адресов и приблизит поведение к статическому.

Увеличивать интервал после сбоев дороже, чем изначально взять с запасом: часть данных придётся собирать заново, и не всегда понятно, какая именно — оборванная цепочка часто отдаёт не ошибку, а пустой или неполный ответ.

Оба режима в одном тарифе

Режим ротации переключается в кабинете и через API — можно поменять под задачу, не покупая новый тариф.

Смотреть тарифы

Прокси под эту задачу

Проверить нашими инструментами