Как сайты определяют прокси: три слоя измерений и что из них меняет прокси

Что делает туннель, а чего не делает

Начать нужно с механики, потому что из неё следует всё остальное. По спецификации HTTP метод CONNECT просит прокси открыть туннель и после успеха ограничить своё поведение слепой передачей данных в обе стороны. А по спецификации TLS клиент обязан отправить ClientHello первым сообщением. Значит рукопожатие TLS формирует ваша библиотека или браузер, и соответствующий прокси в эти байты не вмешивается. SOCKS здесь не исключение: после согласования он тоже становится передатчиком байтов.

Отсюда точная формулировка, которую стоит запомнить вместо расхожих упрощений: через соответствующий стандарту туннель слои TLS и HTTP продолжают описывать ваш клиент, а слои IP и TCP описывают машину прокси. И само это расхождение — тоже наблюдаемый признак, а не его отсутствие.

Четыре случая, когда это не так

• Прокси с терминацией TLS. Он завершает рукопожатие с вами по локально доверенному сертификату и открывает своё соединение наружу — цель видит рукопожатие прокси. Это корпоративная инспекция трафика и сервисы, требующие установить свой корневой сертификат.
• Обычный http:// без шифрования. Туннеля нет вовсе, и прокси пересобирает запрос: по спецификации он обязан заменить заголовок Host, вычистить перечисленные в Connection заголовки и добавить Via. Порядок полей при этом не значим, то есть может измениться. Здесь цель измеряет HTTP-стек прокси, а не ваш.
• Сервисы, пересылающие запрос вместо туннеля: вы соединяетесь с их API, а наружу они идут своим соединением. Это не прокси в смысле CONNECT, и отпечаток там их.
• HTTP/3. Обычный CONNECT туннелирует только TCP, поэтому через него QUIC не пройдёт, и клиент откатится на TLS поверх TCP. Тот же клиент через прокси и без прокси даёт разные отпечатки — не из-за подмены, а из-за смены транспорта.

Слой адреса: это база данных, а не измерение

Тип адреса цель обычно узнаёт не сама, а из коммерческой базы. Важно, как эти базы его получают: MaxMind описывает свой метод как анализ регистрационных данных, трафика и характера использования — то есть whois лишь один из трёх входов, а не весь ответ. Поля называются буквально: is_hosting_provider, is_public_proxy, is_residential_proxy, is_tor_exit_node. В веб-сервисе они переехали в объект anonymizer, а в traits оставлены как устаревшие.

Отдельно есть поле user_type с перечислением из пятнадцати значений, и в нём есть hosting и residential — а значения datacenter нет вовсе. У IP2Location та же роль у поля usage_type, где датацентр обозначен кодом DCH, фиксированный провайдер — ISP, мобильный — MOB; поле присутствует в базах DB23–DB26 и в линейке для детекта прокси PX6–PX11.

Слой TLS: почему JA3 сменился на JA4

JA3 собирал отпечаток из полей ClientHello в том порядке, в котором они пришли. С Chrome 110, вышедшего в стабильную ветку в начале февраля 2023 года, браузер по умолчанию перемешивает порядок расширений — на каждое рукопожатие, а не на сессию, и только порядок расширений: наборы шифров и кривые остаются на месте. Этого хватило, чтобы JA3 перестал быть устойчивым идентификатором для клиентов на Chromium; при этом он никуда не исчез и по-прежнему отдаётся рядом крупных сервисов.

JA4 сортирует шифры и расширения перед хешированием и игнорирует служебные значения-заполнители, поэтому перемешивание его не ломает. Поправка к расхожему представлению: у клиента не один отпечаток, а небольшой набор — возобновление сессии меняет число расширений.

Слой HTTP: порядок, а не содержимое

В HTTP/2 служебные поля запроса отправляются в порядке, который у разных движков разный, — и это различие доступно цели до единого байта содержимого страницы и без всякого JavaScript. Публичный формат пассивного отпечатка HTTP/2 предложен в докладе Akamai 2017 года и складывается из параметров SETTINGS, приращения окна, приоритетов и порядка служебных полей. Часть его успела устареть: приоритеты в браузерах на Chromium переехали на другую схему.

Важная оговорка: всё это относится к HTTPS внутри туннеля — для незашифрованного HTTP запрос пересобирает прокси, и измерять ваш стек цели нечем.

Как понять, ваш ли это слой

Практическая польза от разделения одна, но существенная: она подсказывает, стоит ли вообще покупать адреса. Если отказ привязан к сети или стране — это слой адреса, и пул тут работает. Если отказ по подписи браузера или по правилу файрвола — это другие слои, и адреса не помогут, сколько бы их ни было. Как отличить одно от другого по кодам ответа, разобрано в статье про 403.

И то, чего мы не обещаем, чтобы не было недопонимания: наш продукт работает на слое адреса. Отпечаток TLS у вас останется свой, а рукопожатие TCP цель увидит от машины прокси. Утверждать, что серверные адреса неотличимы от домашних, было бы неправдой — базы разводят их отдельными полями, и это проверяется в один запрос.