Парсинг сайта. Как бы вы сделали?

Question

[adbm17]

Доброго времени суток!
Прошу помощи в решении одной задачи в парсинге сайта.
Цель парсинга - любой сайт букмекерской компании, например 1xstavka.ru
Задача - парсинг предматчевой линии (вид спорта, турнир, время начала, участники, коэффициенты(максимальное количество рынков)) и запись полученных данных в БД
Так же необходимо максимально быстро получать данные о изменении коэффициента и новых событиях.

Интересующие вопросы:
1. Какой стек технологий вы бы использовали для решения поставленной задачи? (на каком ЯП лучше всего писать код, необходимые библиотеки и фреймворки)
2. Как обойти возможный бан по ip из-за большого количества http запросов на сайт?
3. Каким образом можно добиться максимально быстрого получения данных о изменении коэффициентах во всех спортивных событиях на сайте?

Comments

[jamtuson]

что - то все питон советуют, а я посоветую nodejs, который умеет парсить не только линию, но и live(то есть, в реальном времени отслеживает сотни матчей). И после этого может отправлять результаты в бот телеграма.

Бана нет. Знакомый работает со своим ботом уже больше года и не словил за это время ни одного бана и ни одной просадки по времени срабатывания бота(около 3-х секунд после срабатывания события)

[John Freeman]

jamtuson, а можете на примере показать как в лайве отследить событие по примеру сайта где есть 20 записей с изменяемым счетом и таймером игры (типа: команда1 против команды2 счет: 0-0 и время 40 минут) и скажем по тригеру: когда у команд будет счет 1-0 и время 70 минут, сразу маякнуть???

[jamtuson]

John Freeman, этим занимается знакомый. Есть телеграм? Могу на примере бота показать.

Answer 1

[Ivan Yakushenko]

1. Python
2. Прокси. Если есть возможность немного потратиться - luminati (быстрые сервера, большое кол-во, сам выгребаю с их помощью инфу с 3х спорт-сайтов ежеминутно). Если нет денег - пишите парсер для прокси-сайтов, фильтруйте эти прокси под конкретный сайт и делайте прокси ротатор, что-бы каждый запрос отправлялся с разного IP.
3. В идеале парсить не сайт, а запросы. Заходите на сайт, открываете dev tools - network и смотрите какие запросы отдаёт/принимает сайт. Очень часто на подобных сайтах используется что-то типа API и у вас будет возможность загрузить json/xml/etc по матчам, что очень сильно ускорит парсинг. Если же нет, то возвращаемся к пункту 1 и добавляем туда lxml что-бы парсить сайт.

Answer 2

[Роман Андреев]

ЯП Python, лучший вариант парсера по моему личному мнению BeautifulSoup, обход бана можно через прокси т.е эти самые БК постоянно в России банятся придется либо постоянно менять адреса БК, либо использовать забугровые прокси.
Вот хорошие уроки по BeautifulSoup учит парсингу от А до Я вплоть до распознавания цифр на картинке из информации которую спарсил скрипт. proglib Лучше него не находил, может плохо искал.
upd: Так-же у proglib в том курсе рассказывается как обходить баны)

Comments

[Ivan Yakushenko]

по моему личному мнению BeautifulSoup

Я тоже так считал, пока огромное кол-во людей не открыли глаза на то, что bs - это кусок говна неюзабельный.

[Kovalsky]

Ivan Yakushenko, чому?

[Ivan Yakushenko]

Никита Полевой, основные:
1. Медленный. Выкачивал 1000 разных страниц с одного сайта, сохранил локально, дальше - вытаскивал всю информацию с каждой страницы с bs4 и lxml по 50 раз в один поток. lxml справился за ~10 минут, bs4 за ~15 - ощутимая разница, если регулярно парсишь в больших объёмах.
2. Жрет много ОЗУ. К сожалению часто приходится использовать много процессов парсера, сам по себе bs4 спокойно может занимает ~5 мб ОЗУ, lxml - ~2 мб. У bs4 очень много утечек и и в целом проблемы с расходованием. 1 процесс bs4 во время работы спокойно может потреблять 30-40 мб ОЗУ, за lxml не наблюдал потребление больше 15 мб. Если поискать можно найти много обсуждений потребления bs4 большого кол-ва ОЗУ.
3. Для меня очень критично - bs4 не умеет в xpath. Шок. Очень часто приходится пользоваться Selenium и раньше, каждый раз когда возвращался к bs4 аж трясло от всех этих уродских селекторов, названий, кучей проблем когда нужно достучаться до элемента, селектор/название которого много раз дублируются на странице - здравствуйте извращения с сиблингами, дочерними/родительскими элементами. lxml спокойно работает с xpath.

Можно наскрести еще парочку субъективных причин, но и этих 3 более чем достаточно, что-бы отказаться от использования bs4.

[Kovalsky]

Ivan Yakushenko, спасибо за ответ! Позже гляну и посмотрю что к чему, особенно все что связано с xpath