(вопрос от полного чайника) Как писать код, который будет работать с внешним сайтом?

Question

[wiwiwidx]

изучаю питон и его синтаксис сейчас, задачки на кодварсе и тд решаю более менее, а для более глубокого изучения я решил сделать пет проект, вот у меня есть pycharm, есть сайт hltv, я хочу написать нейронку которая будет изучать всякую статистику на этом сайте и выводить победителя в матче. Я так понимаю, подключаться к сайтам надо через api(которое я еще ни разу не писал), если это так(или не так), можете пожалуйста подсказать источники/ресурсы где можно работе с сайтами обучиться, потому что я вот пишу код, делаю задачки, но ни малейшего представления не имею что нужно сделать для того чтобы правильно обработать инфу с сайта и работать с ней

Comments

[Anonymous]

я хочу написать нейронку которая будет изучать всякую статистику на этом сайте и выводить победителя в матче.

Скорее всего это парсер, а не нейронка :)

[Anonymous]

где можно работе с сайтами обучиться

Если есть API - используй его, если нет, напиши парсер. В Интернете полно информации.

[wiwiwidx]

Anonymous, благодарю

[Модератор]

На вопрос «как сделать» отвечает документация и поиск в интернет.

Тут отвечают на вопросы «почему я сделал, как в документации, а оно не работает. Поискал в интернет, вот запросы, в ответах не нашел. Что я делаю не так?»

Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.

За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.

Answer 1

[rPman]

У тебя тут сразу несколько технологий и задач, достаточно сложных и сильно друг от друга отличающихся:
1. сбор данных с сайта
целая вселенная - это и реверсинженеринг сайта, и борьба против автоматизированных сборщиков (в зависимости от того как заморочился с этим владелец сайта)
Настоятельно рекомендую сразу работать с сайтом из браузера, техник много, от простого открытия сайта в обычном браузере с инжектом твоего javascript (например расширение tempermonkey), который будет ходить по сайту, до запуска безголового браузера и управление им из своей программы с помощью selenium, а там кликать кнопки и собирать данные, отправляя их тебе на сервер или сохраняя в локальной базе браузера - localStorage/indexeddb/...
2. обработка данных
тесно связана со сбором, данные нужно не просто собрать но и привести к машиночитаемому виду (бывают ситуации когда данные создаются людьми без определенного формата, в этом случае совсем туго), так же это тесно перекликается с технологиями борьбы владельцев сайтов с автоматическими собирателями данных
Совет, вместе с текстовыми данными собирай информацию о расположении, гораздо проще догадываться о назначении данных, если знаешь их относительную позицию.
3. анализ данных и поиск закономерностей плюс визуализация
это не только нейронные сети, алгоритмов тьма, разбираться хотя бы на уровне что это и в каких ситуациях применять, придется... и самое главное результата может и не получиться но узнаешь ты только потом
работа творческая, и готовых решений скорее всего нет (хотя спасибо, за последние лет 10 собран такой пласт библиотек для работы, один tenserflow и torch чего стоит. Загляни на weka, это огромный сет библиотек и алгоритмов (java) как источник информации об этих алгоритмах

Comments

[wiwiwidx]

спасибо большое за такую инфу

Answer 2

[Алексей Черемисин]

Посмотрите что такое rest.
В плане питона на сервере можете посмотреть примеры для flask (rest+json)
В качпстве клиента взять библиотекк requests.