@wiwiwidx

(вопрос от полного чайника) Как писать код, который будет работать с внешним сайтом?

изучаю питон и его синтаксис сейчас, задачки на кодварсе и тд решаю более менее, а для более глубокого изучения я решил сделать пет проект, вот у меня есть pycharm, есть сайт hltv, я хочу написать нейронку которая будет изучать всякую статистику на этом сайте и выводить победителя в матче. Я так понимаю, подключаться к сайтам надо через api(которое я еще ни разу не писал), если это так(или не так), можете пожалуйста подсказать источники/ресурсы где можно работе с сайтами обучиться, потому что я вот пишу код, делаю задачки, но ни малейшего представления не имею что нужно сделать для того чтобы правильно обработать инфу с сайта и работать с ней
  • Вопрос задан
  • 159 просмотров
Решения вопроса 1
@rPman
У тебя тут сразу несколько технологий и задач, достаточно сложных и сильно друг от друга отличающихся:
1. сбор данных с сайта
целая вселенная - это и реверсинженеринг сайта, и борьба против автоматизированных сборщиков (в зависимости от того как заморочился с этим владелец сайта)
Настоятельно рекомендую сразу работать с сайтом из браузера, техник много, от простого открытия сайта в обычном браузере с инжектом твоего javascript (например расширение tempermonkey), который будет ходить по сайту, до запуска безголового браузера и управление им из своей программы с помощью selenium, а там кликать кнопки и собирать данные, отправляя их тебе на сервер или сохраняя в локальной базе браузера - localStorage/indexeddb/...
2. обработка данных
тесно связана со сбором, данные нужно не просто собрать но и привести к машиночитаемому виду (бывают ситуации когда данные создаются людьми без определенного формата, в этом случае совсем туго), так же это тесно перекликается с технологиями борьбы владельцев сайтов с автоматическими собирателями данных
Совет, вместе с текстовыми данными собирай информацию о расположении, гораздо проще догадываться о назначении данных, если знаешь их относительную позицию.
3. анализ данных и поиск закономерностей плюс визуализация
это не только нейронные сети, алгоритмов тьма, разбираться хотя бы на уровне что это и в каких ситуациях применять, придется... и самое главное результата может и не получиться но узнаешь ты только потом
работа творческая, и готовых решений скорее всего нет (хотя спасибо, за последние лет 10 собран такой пласт библиотек для работы, один tenserflow и torch чего стоит. Загляни на weka, это огромный сет библиотек и алгоритмов (java) как источник информации об этих алгоритмах
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
leahch
@leahch
3D специалист. Dолго, Dорого, Dерьмово.
Посмотрите что такое rest.
В плане питона на сервере можете посмотреть примеры для flask (rest+json)
В качпстве клиента взять библиотекк requests.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы