Сколько потоков ставить в парсере под тариф прокси: A-Parser, Key Collector, ZennoPoster, Netpeak
Ротационный тариф измеряется числом одновременных подключений, и подобрать его — значит посчитать, сколько их создаёт ваша программа. Считать нужно не то число, которое стоит в настройке задачи: у половины программ потоков расходуется больше, чем кажется, а у другой половины потолок ставит вообще не тариф прокси.
Потоки складываются, а не берутся из одной настройки
Документация A-Parser формулирует это прямо: общее количество потоков в парсере равно сумме работающих заданий и включённых проксичекеров с проверкой прокси. В её собственном примере это 20 + 100 + 100 + 15 = 235 потоков, и там же сказано, что эта сумма должна помещаться в ваш тариф прокси. Наша модель тарификации, описанная сторонним вендором.
Отсюда практическое следствие: смотреть надо не на настройку активного задания, а на сумму всего, что запущено одновременно.
A-Parser: чекер прокси расходует тариф молча
У проксичекера параметр «Check threads» по умолчанию равен 15. Это пятнадцать одновременных подключений, которые уходят из оплаченного тарифа, пока чекер включён, — даже если основное задание в этот момент ничего не делает. На тарифе в 50 потоков это почти треть.
Key Collector: потолок ставит число аккаунтов
В настройках парсинга Яндекс.Директа сказано, что указывается именно общее количество потоков, а не количество для каждого аккаунта, и что нельзя указать больше потоков, чем задано и активировано аккаунтов Яндекса. То есть здесь предел определяется не тарифом прокси: докупив потоков, вы не получите больше скорости, пока не добавите аккаунты.
Отдельно документация рекомендует не использовать больше одного потока на один IP-адрес. Написано это про списки отдельных адресов, где адрес закреплён за потоком; с ротационным шлюзом адреса подставляются на нашей стороне, но саму рекомендацию стоит держать в голове как ориентир по агрессивности.
KeyAssort и лицензионные потолки
У KeyAssort в руководстве прямо: число одновременных потоков не может быть больше количества добавленных прокси плюс основной IP. С одной строкой шлюза это два потока, и тариф тут ни при чём. У Netpeak Checker предел в лицензии: 10 потоков на Freemium и Lite против 200 на Pro и выше; потоки задаются на вкладке общих настроек, прокси — на отдельной вкладке со списком. У ZennoPoster потоки задаются в самом проекте параметром «Максимум потоков», а бесплатная редакция LITE ограничена одним потоком.
Обратный случай: тариф уже избыточен
Не всякой программе нужно много. Screaming Frog по умолчанию обходит сайт в 5 потоков, и меняется это в Configuration → Speed. Datacol в своём FAQ называет оптимальным количеством потоков 5–10. Для таких задач младший тариф на 50 потоков избыточен в разы, и честный вывод здесь — что докупать нечего: узкое место не в числе адресов.
Проверить, сколько потоков задача действительно создаёт, проще всего до покупки: запустите её на короткой выборке и посмотрите, сколько одновременных подключений держит процесс. Это надёжнее, чем догадываться по числу в настройке, — особенно там, где вспомогательные модули расходуют потоки отдельно.
Как перевести всё это в тариф
- Сложите потоки всех задач, которые работают одновременно, и прибавьте вспомогательные модули — чекеры прокси в первую очередь.
- Сравните сумму с потолками, которые ставит сама программа или её лицензия: если предел там, тариф прокси на скорость не повлияет.
- Возьмите тариф не меньше полученной суммы. Если потоков в тарифе меньше, часть подключений будет ждать освобождения слота — программа не упадёт, но пойдёт медленнее заданного.
- Начинайте с 50 и поднимайте, когда упрётесь в предел: за неиспользованные потоки платить незачем.
# Что складывать перед выбором тарифа
Задание «Сбор выдачи» 40 потоков
Задание «Проверка карточек» 30 потоков
Проксичекер (Check threads) 15 потоков
------------
Одновременно 85 потоков -> тариф на 100, не на 50Если сумма превысит тариф, программа не сообщит об этом внятно: часть подключений просто будет ждать освобождения слота, и задание пойдёт медленнее, чем в нём выставлено. Со стороны это выглядит как «прокси тормозят», хотя упёрлись вы в собственную настройку.
Тарифицируется именно конкурентность, а не количество адресов: сколько именно IP пул подставит за это время, значения не имеет, и трафик на ротационных тарифах не ограничивается.
Подобрать тариф под число потоков
Ротационные IPv6 — от 650 ₽ за 50 потоков, IPv4 — от 1375 ₽ за 100. Трафик не тарифицируется, предел только по числу одновременных подключений.
Смотреть тарифыПрокси под эту задачу
Проверить нашими инструментами
Читайте также
- Сколько потоков нужно парсеру: расчёт на практикеПоток — это не скорость, а лимит одновременных подключений. Показываем, как посчитать нужное число от срока и объёма, а не наугад.
- Один шлюз вместо списка прокси: как настроить софт, который ждёт списокПарсеры считают масштаб числом прокси, а ротационный шлюз — это одна строка. Разбор по программам: где переключить режим, где продублировать строку и где честный ответ — купить список.
- Как сайты определяют прокси: три слоя измерений и что из них меняет проксиЦель измеряет три независимых слоя: адрес, рукопожатие TLS и поведение HTTP. Через туннель TLS и HTTP продолжают описывать ваш клиент, а адрес и TCP — машину прокси. Само это расхождение и есть сигнал.