Блог/
Настройка прокси в Selenium на Python

Настройка прокси в Selenium на Python

декабрь 11, 2023
67 просмотров

Selenium WebDriver – это инструмент для автоматизации браузера, который позволяет программно взаимодействовать с интерактивными приложениями и сайтами. Особенность технологии в том, что, выполняя различные действия, такие как клики, ввод текста, навигацию по страницам и многое другое, она имитирует действия человека. Указанное программное обеспечение обладает исходным кодом, что позволяет совершенствовать инструмент, адаптировать и расширять его в соответствии с потребностями. Чтобы еще больше увеличить результат от применения Selenium, рекомендовано использовать прокси.

Настройка прокси для использования в Selenium

Правильная отладка конфигурации прокси в Selenium позволит маршрутизировать сетевой трафик через прокси-серверы, что полезно для автоматизации веб-действий, связанных с определенными IP-адресами или географическими регионами.

Как настроить Selenium на Python

Для этого на вашем ПК уже должна быть установлена среда разработки Python (IDE). Начните с интеграции библиотеки Selenium для Python. Это можно сделать с помощью pip – инструмента управления встраиваемыми пакетами. Откройте cmd (командную строку) или терминал и введите команду без кавычек «pip install selenium».
```
pip install selenium
```
Утилита взаимодействует с онлайн-сетью через веб-драйвер. Скачайте и установите соответствующий драйвер для браузера, который вы планируете использовать (например, Chrome, Firefox, Edge). Укажите путь к этому драйверу в вашем коде. Пример для Chrome WebDriver приведен ниже на скриншоте. Просто перепечатайте его в ваш терминал или среду разработки.
```
from selenium import webdriver
driver = webdriver.Chrome(executable_path="/path/to/chromedriver")
```
Теперь разберемся, как использовать прокси в Selenium на Python. Чтобы изменять конфигурацию сетевого подключения, сначала нужно купить пакет прокси у надежного провайдера. Список поставщиков серверов приведен ниже. Если данные, как IP-адрес, порт и параметры аутентификации прокси в Selenium уже есть, введите в терминал строчки кода со скриншота.
```
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
```
В созданный объект (ChromeOptions) нужно поместить данные подключения – адрес и номер порта. Введите команду «proxy_server = "ip_прокси:порт"», где «ip_прокси» - это IP-адрес сервера, а «порт» - числовой идентификатор сервера.
```
# Replace 'ip_proxy' with the actual IP address of your proxy server.
# Replace 'port' with the port number of your proxy server.
proxy_server = 'ip_proxy:port'
```
Далее необходимо добавить параметры нового прокси в опции браузера, то есть сообщить ему о том, что трафик будет перенаправляться через новое соединение. Для этого введите в cmd или терминал новую строку кода из скриншота. В значение «proxy_server», указанное в фигурных скобках и подсвеченное белым, впишите IP-адрес и порт вашего сервера.
```
chrome_options.add_argument(f'--proxy-server={proxy_server}')
```
Инициализируйте драйвер с новыми настройками. «Путь_к_драйверу» замените на настоящий. Как правило, драйвер находится в корневой папке Chrome, а она лежит в «C:\Program Files\Google\Chrome».
```
driver = webdriver.Chrome(executable_path=driver_path, options=chrome_options)
```
Если прокси-сервер требует проверку данных при подключении, необходимо заранее добавить в Chrome или иной браузер параметры аутентификации. Чтобы правильно настроить прокси в Selenium, введите в терминал код ниже.
```
chrome_options.add_argument('--proxy-auth={}:{}'.format(proxy_username, proxy_password))
```
Создайте параметр для обхода локальных адресов – это снизит нагрузку и сократит расход трафика прокси-пакета.
```
chrome_options.add_argument('--proxy-bypass-list=*')
```
Закончите создание драйвера с новыми параметрами конфигурации. Чтобы управление сетевыми настройками выполнялось корректно, передайте драйверу данные отладки из Chrome.
```
driver = webdriver.Chrome(options=chrome_options)
```
Протестируйте работу драйвера на сайте, с которого планируете выбирать данные для анализа при скрапинге. Для запуска необходимо инициировать команду «driver.get», а в качестве параметра передать ей полный адрес конечного веб-ресурса.
```
driver.get("https://www.example.com")
```

Прокси настроенные в Selenium не только обеспечивают онлайн-приватность для веб-мастера, но и гарантируют защиту ваших данных при скрапинге.

ТОП-10 прокси-провайдеров для онлайн-тестирования

Proxy-Seller

Сервис предоставляет прокси-серверы с поддержкой различных протоколов (HTTP, HTTPS, SOCKS) и разных географических местоположений. Имеется возможность выбора статических и динамических прокси.
Этот провайдер предлагает разнообразие прокси-серверов с высокой скоростью и разнообразными опциями, что может быть полезно при тестировании различных сценариев и сетевых условий.
В продаже персональные и элитные IPv4 и IPv6, мобильные, ISP, и резидентские прокси. На сайте нет демоверсии.

BrightData

Провайдер специализируется на сети P2P прокси с доступом к миллионам реальных IP-адресов по всему миру. Имеется возможность выбора географической локации.
Эта сеть предоставляет доступ к широкому спектру IP-адресов, что полезно при тестировании географически зависимых приложений и услуг.
Здесь можно купить Selenium SOCKS5 прокси для работы в сетях IPv4 – это поможет обеспечить стабильное подключение и высокую скорость передачи данных даже при масштабном скрапинге.

Geonix

Сайт предлагает прокси с высокой скоростью, а также с поддержкой HTTP и HTTPS или SOCKS5 протоколов.
Здесь доступны прокси с высокой производительностью, что важно при тестировании производительности веб-сервисов и приложений. Есть бесплатные прокси, есть личные IP с арендой на любой срок.
На ресурсе доступны дополнительные инструменты веб-мастера, расширяющие его способности и повышающие результативность работы.

Stormproxies

Stormproxies предлагает прокси-серверы с поддержкой различных протоколов, включая HTTP и SOCKS. Их подключения делятся на приватные и общедоступные.
Разнообразие прокси-серверов и возможность выбора разных тарифов и пакетов позволяют адаптировать прокси под конкретные тестовые сценарии.
Пропускная способность каналов веб-ресурса достигает 1 Гбит/сек, что обеспечивает высокую скорость обработки запросов при скрапинге. Для большей эффективности можно купить пакет от 5 прокси-серверов, минимальная стоимость пакета зависит от технических характеристик.

Youproxy

Youproxy предоставляет выделенные прокси-серверы с поддержкой протоколов HTTP, HTTPS, SOCKS 4 и 5 для различных целей, включая тестирование.
Персональные прокси в сетях IPV4, IPV6, а также мобильные прокси-подключения обеспечивают стабильное и надежное соединение, что важно для проведения тестов и сбора данных.
Здесь нет резидентных прокси, но гарантирована защита соединения, низкий пинг, высокая скорость приема-передачи данных. Важным фактором является постоянная доступность серверов. Допускается аренда прокси на срок до одного года.

Oxylabs

Oxylabs предоставляет прокси со стандартными протоколами HTTP и SOCKS с доступом к миллионам реальных IP-адресов. У них также есть API для автоматизации. В наличии резидентные, мобильные, приватные и ротационные ISP-прокси.
Инструменты провайдера, включая возможность использования ssh разновидности подключения, позволяют проводить глубокий и безопасный анализ любого сайта через Selenium или иные скраперы.
Встроенный API Scraper повысит эффективность технического исследования. На сайте есть Shared Proxy, которые могут использоваться группой людей, например, вашей аналитической компанией.

Webshare

К приобретению доступны HTTP и SOCKS5 протоколы, Anonymous Proxy, статические и резидентные адреса – все необходимое для сокрытия своей личности и избегания блокировки IP.
Есть демо с небольшим периодом тестирования – клиенту выдаются 10 прокси для проверки работоспособности и изучения особенностей сервиса. Интеграция API довольно сложная, но знатоки Python смогут с ней справиться.
Провайдер обещает скорость до 1 Гбит/сек, что позволить скрапить несколько ресурсов сразу.

Proxy-IPv4

Здесь предоставлены прокси с поддержкой IPv4 и высокой скоростью подключения по протоколам HTTP, HTTPS, SOCKS5.
Пользователям предложены статические и динамические IP, подключение к серверам через разные каналы.
Безопасность подключения обеспечения наличием аутентификации, прокси провайдера характеризуются высокой пропускной способностью. Для целей тестирования сайтов через Selenium следует покупать сразу пакет IP.

Soax

Есть прокси с HTTP и SOCKS5. Предоставляются резидентные, мобильные прокси, а также ISP proxy. Есть отдельные тарифы для тестировщиков.
Прокси Soax обеспечивают высокую производительность и возможность выбора локации, что может быть важно для скрапинга географически зависимых сайтов.
Веб-мастерам рекомендованы пакеты с динамической ротацией, общий пул прокси насчитывает около 9 млн, 1 клиент может использовать до 300 портов одновременно.

Decodo

Decodo предлагает прокси с поддержкой HTTP, HTTPS и SOCKS5 протоколов. Имеются специальные планы для тестирования.
Для покупателей доступны резидентные, статические и мобильные прокси, а также выделенные прокси для дата-центров (с большой пропускной способностью).
На сайте провайдера можно купить API-интерфейсы. Они служат для сбора больших объемов данных и помогают анализировать, что станет плюсом в работе веб-мастера.
Покупатель может самостоятельно подобрать технические характеристики конкретного пакета прокси в зависимости от своего бюджета и подходящего тарифного плана.

При работе с Selenium, очень важно иметь прокси нужной геолокации для успешного тестирования. Поэтому стоит подобрать прокси-провайдера с как можно большим гео-охватом. Рекомендуем обратить внимание на Proxy-Seller (220+ стран), Brightdata (195+ стран), Oxylabs (140+ стран) и Geonix (210+ стран). Пользуясь услугами данных провайдеров вы забудете про проблемы с подбором корректной локации.

Кроме того, иногда для тестирования определенного ресурса требуются конкретные сети и подсети. В данном случае, вам на помощь придут Proxy-Seller, Geonix и Youproxy, так как только у этих провайдеров из нашего обзора есть возможность подбора нужной сети/подсети при оформлении заказа.

Если же требуется имитировать реального юзера при тестировании, то без резидентных прокси не обойтись. Рекомендуем для покупки данного типа прокси таких провайдеров как Proxy-Seller, Brightdata, Geonix, Oxylabs и Webshare. Они предоставляют выгодные предложения и пробные версии, вы сможете подобрать нужный вам пакет вне зависимости от количества расходуемого трафика.

Прокси-сервер является полезным дополнением к Selenium и правильный выбор прокси-провайдера с помощью нашего обзора поможет раскрыть потенциал его использования на полную.