Превышен лимит потоков прокси: что происходит на потолке тарифа
Поток в тарифе означает одно открытое соединение со шлюзом. Пока соединений меньше лимита, шлюз принимает новые сразу. Когда заняты все, новое соединение недолго ждёт свободного места и, если не дождалось, получает отказ. Ниже о том, как выглядит этот отказ, чем он отличается от ограничений сайта и что поправить в программе.
В этой статье
Что считается потоком
Поток это открытое TCP-соединение вашей программы со шлюзом, а не запрос и не адрес. Через одно соединение с keep-alive может пройти сотня запросов, и всё это время оно занимает один поток. Для HTTPS соединение начинается с CONNECT и занимает поток, пока туннель открыт.
Лимит считается на весь тариф сразу, по всем серверам подключения. Если программа ходит через несколько адресов шлюза, их соединения складываются. Небольшой запас сверху даётся, чтобы распределение между серверами не приводило к ложным отказам.
Что происходит на потолке
- Пока занято меньше лимита, новое соединение принимается сразу.
- Когда заняты все потоки, новое соединение ждёт освобождения места до пары секунд. Если за это время какое-то соединение закрылось, программа заметит только небольшую задержку.
- Если место так и не освободилось, шлюз отказывает. HTTP-прокси отвечает кодом 429, SOCKS5 отвечает кодом 0x02, connection not allowed by ruleset.
HTTP/1.1 429 Too Many Requests
Retry-After: 1
Content-Type: text/plain; charset=utf-8
Connection: close
Thread limit reached: every connection your plan allows is in use. Close idle connections or upgrade the plan.Как отличить 429 шлюза от 429 сайта
Код один, источник разный. Сайт отвечает 429, когда к нему слишком часто обращаются с одного адреса: это лечится темпом и шириной пула, подробно в статье про 429 и повторы. Шлюз отвечает 429, когда заняты потоки тарифа: здесь важен не темп запросов, а число открытых соединений.
- В HTTPS ответ шлюза приходит на CONNECT, и туннель не открывается. curl пишет CONNECT tunnel failed, response 429. Ответ сайта приходит уже внутри туннеля, после TLS.
- В теле ответа шлюза стоит Thread limit reached. Сайты так не пишут.
- Через SOCKS5 сайт вообще не может ответить кодом 0x02: это ответ самого прокси.
curl -sv -o /dev/null -x http://ЛОГИН:ПАРОЛЬ@ШЛЮЗ:ПОРТ https://example.com 2>&1 \
| grep -E '< HTTP|CONNECT tunnel|Thread limit'Почему потоки заняты, хотя запросов мало
Чаще всего потоки держат не запросы, а соединения, которые открыты и простаивают.
- Пул соединений клиента. requests.Session, aiohttp и httpx держат соединения про запас. Сто воркеров с пулом по десять соединений могут занять до тысячи потоков, даже когда запросов нет.
- Браузеры. Страница через прокси открывает несколько соединений на каждый хост и держит их, пока вкладка открыта.
- Зависшие соединения. Без таймаута чтения соединение с медленным сайтом живёт минутами.
- Несколько программ на одном тарифе. Их соединения складываются в один лимит.
Проверить это можно в кабинете: на странице услуги видно число открытых соединений в реальном времени. Если оно стоит у потолка, а запросов почти нет, дело в удержании соединений, а не в нагрузке.
Что настроить в программе
- Ограничьте число одновременных соединений: потоки тарифа минус 5–10% запаса. В aiohttp это limit у TCPConnector, в httpx это max_connections.
- Ставьте таймауты на подключение и на чтение, чтобы зависшие соединения освобождались.
- Если нужна смена адреса на каждый запрос, отключите keep-alive. Это и сменит адрес, и не даст соединениям копиться, подробнее в статье почему IP не меняется.
- Ответ 429 от шлюза означает подождать: Retry-After равен одной секунде. Повторяйте запрос после паузы, а не сразу.
import aiohttp
THREADS = 100 # потоков в тарифе
connector = aiohttp.TCPConnector(limit=int(THREADS * 0.9), force_close=True)
timeout = aiohttp.ClientTimeout(connect=10, sock_read=30)
async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session:
...Когда пора расширять тариф
Если соединения закрываются вовремя, а 429 от шлюза всё равно приходит в рабочие часы, потоков просто мало для задачи. Нужное число считается по формуле из статьи сколько потоков ставить в парсере: запросы в секунду, умноженные на среднее время ответа, плюс запас на повторы. Потоки добавляются в кабинете на странице услуги, логин, пароль и настройки при этом не меняются.
У статических пакетов лимит другой
У пакетов Datacenter IPv4 своя модель. Обычный пакет даёт 1000 одновременных подключений на весь пакет при любом числе адресов. С опцией повышенной параллельности лимит равен 10 × количество IP, опция доступна от 250 адресов. Распределять подключения между адресами можно как угодно. На потолке такой пакет отвечает кодом 429 с текстом Not Enough Connections.
Потоков не хватает?
Ротационные IPv6 от 650 ₽ за 50 потоков, IPv4 от 1375 ₽ за 100. Трафик не лимитируется, потоки добавляются в кабинете без смены настроек.
Смотреть тарифы