Ротация на каждый запрос или по таймеру: что выбрать

Ротация на каждый запрос

Каждое обращение уходит с нового адреса. Это подходит, когда запросы независимы друг от друга: список товаров по прямым ссылкам, карточки по известным идентификаторам, проверка позиций по набору запросов. Нагрузка максимально размазывается по пулу, и на каждый отдельный адрес приходится минимум обращений.

Ротация по таймеру

Адрес держится заданный интервал, и все запросы внутри него уходят с одного IP. Это нужно везде, где сервер связывает шаги между собой через cookie или токен сессии.

• Авторизация: логин выдаётся одному адресу, а следующий запрос приходит с другого — сессия недействительна.
• Пагинация внутри выдачи: вторая страница часто привязана к той же сессии, что и первая.
• Многошаговые формы и корзины, где состояние копится между запросами.
• Площадки, которые сначала выдают cookie и только потом отдают контент.

Какой интервал ставить

Интервал должен покрывать самую длинную цепочку связанных запросов с запасом. Если авторизация и последующий сбор занимают полторы минуты, ставьте не меньше трёх: слишком короткий интервал разорвёт цепочку в середине, а слишком длинный просто снизит разнообразие адресов.

Практическое правило — начните с интервала вдвое длиннее вашей самой долгой цепочки и сокращайте, если данные собираются корректно. Увеличивать интервал после сбоев дороже: часть данных придётся собирать заново.

Смешанный сценарий

Если в одном проекте есть и то, и другое — например, авторизованный сбор и массовая проверка публичных страниц — разумнее развести их на два тарифа с разными режимами, чем компромиссно настраивать один. Тариф на 50 потоков стоит 650 ₽, и два узких почти всегда работают лучше одного универсального.

Как понять, что задача сессионная

Признак почти всегда один и тот же: одиночный запрос отрабатывает правильно, а последовательность из двух-трёх шагов ломается, причём каждый раз на разном шаге. Это и есть разрыв цепочки — каждый шаг уходит с нового адреса, и сервер видит несвязанные обращения от разных клиентов.

Проверить можно без кода. Сделайте нужную последовательность вручную через один статический адрес: если так всё проходит, дело в ротации, а не в сайте и не в вашем разборе ответа. Если и вручную не проходит — проблема в другом месте, и менять режим ротации бессмысленно.

• Логин выдаёт cookie, а следующий запрос приходит с другого IP — сессия недействительна.
• Вторая страница выдачи привязана к той же сессии, что первая.
• Корзина или многошаговая форма копит состояние между запросами.
• Площадка сначала отдаёт токен и только потом контент.

Сколько ставить и как не пересчитывать заново

Интервал должен покрывать самую длинную цепочку с запасом. Считать его удобно так: замерьте, сколько занимает полный проход по одному объекту от первого запроса до последнего, и удвойте. Слишком короткий интервал разорвёт цепочку в середине; слишком длинный просто снизит разнообразие адресов и приблизит поведение к статическому.

Увеличивать интервал после сбоев дороже, чем изначально взять с запасом: часть данных придётся собирать заново, и не всегда понятно, какая именно — оборванная цепочка часто отдаёт не ошибку, а пустой или неполный ответ.