Сделал парсер на Python по сбору статистики футбольных матчей

Разработал парсер на Python статистики футбольных игр. Сначала хотел на C++, но сайт оказался с динамически подгружаемым AJAX контентом — списком игр, поэтому нужно или использовать cURL, или движок браузера. Хотел использовать headless PhantomJS, но он был заброшен разработчиком, узнал про Selenium библиотеку.
Selenium можно использовать на нескольких языках, в числе которых отсутствует PHP, но присутствует классный язык Python — на нем и решил делать.
По началу код получался неустойчивый, вылетали исключения по глупостям типа: отсутствует элемент HTML или не срабатывает клик по кнопке из-за того, что кнопку перекрывала реклама всплывающая и тд. Решал эти проблемы с помощью тайм-аута-ожидания, но это ненадежно, так как может не успеть загрузиться страница. Есть более надежный способ это EC (expected_conditions) — этот механизм ожидает по 500 мс пока элемент не появится или не станет доступным.
В процессе также нужно было открывать и закрывать всплывающие окошки и читать с них данные о деталях игры. В конце сбора данных нужно было вывести их в Эксель документ с форматированием цветами и стилями текста.

Также сделал простой интерфейс с логированием действий в нем, кнопками запуска и остановки скрипта.

Нужен парсер на питоне? Обращайтесь, с удовольствием разработаю для Вас!

Сделал парсер на Python по сбору статистики футбольных матчей

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *