Как автоматизировать обход сайта с HTML5 canvas?

Question

[Semisonic]

Всем привет!

Ради фана и саморазвития пытаюсь автоматизировать процесс игры в одну web-based игру. Игра представляет из себя сайт с HTML5 canvas элементом, на котором отрисовывается игровое поле.

Необходимая последовательность действий следующая:

1. Залогиниться на игровом сайте.
   
2. Открыть страницу с игрой.
   
3. Просканировать входные игровые данные, отображённые на canvas'е.
   
4. Сымитировать пользовательскую активность на canvas (движения мыши, клики и т.п.).
   
5. Вычленить результат матча, выданный в виде обычной HTML-страницы, и скорректировать игровую стратегию на его основе.
   
6. Вернуться к п.2 и повторить.
   

Сразу оговорюсь, что методы, при которых браузер и отображаемые в нём данные интерпретируются как внешний объект, не интересуют. То есть анализ состояния сайта путём машинного зрения и имитация пользовательской активности через оконные сообщения не подходят. Хочется работать напрямую с клиентским кодом сайта, максимально сфокусировавшись именно на бизнес-логике (откуда какие данные взять, как их обработать, какие действия в результате выполнить).

Также хотелось бы, чтобы выбранный вариант решения этой задачи позволял смотреть за игрой в процессе, то есть чтобы автоматизировалась работа реального браузера. Однако варианты с headless браузерами тоже готов рассмотреть в качестве самообразования.

Буду благодарен, если вы посоветуете инструменты, которые удовлетворяют всем вышеперечисленным условиям и гарантированно способны решить поставленную задачу. Ответы уровня "сам не пробовал, но что-то слышал про toolXYZ, попробуй, может, получится" не подходят, интересен опыт из первых рук.

Спасибо всем кто откликнется!

Comments

[VZVZ]

Игра клиент-серверная? Там HTTP или WebSockets?

Answer 1

[Александр Аксентьев]

Ваш вопрос выглядит как заказ на фрилансе.

Мне кажется что самый простой и верный способ сделать бота как вы описали - это изучить апи через которое работает клиент.

Затем любым удобным языков имитировать клиент, браузер в данном случае совсем необязателен, даже headless.

Потому что браузер это не полноценный клиент как таковой, значит там нет никакого рода защиты от эмуляции чем угодно. Другими словами серверу глубоко побоку откуда к нему поступают данные, браузер или скрипт в консоли.

Comments

[VZVZ]

Ну уж прям и API. Бек-енд просто.
Побоку то побоку, но если на бек-енде защита, например, проверка заголовков, или еще какая подстава, то заипешься всё это имитировать, проще уж в основном браузер использовать.

[Александр Аксентьев]

VZVZ: Добавить пару заголовков в скрипт ни разу не трудно, если они какие-то хитрые то надо разборать фронтенд(это в любом случае надо), так что ничего сверхъестественного. Да под API имеется в виду бекенд игры. В адекватных играх это как правило нормальное апи по канонам(хоть и не открытое)

[Semisonic]

То есть я прямым текстом пишу, что мне нужно понять, какими методами подобные задачи решаются, чтобы научиться их делать - но вы всё равно считаете что я ищу исполнителя на заказ? Ничего не могу добавить, вам мерещится.

Моя цель - научиться автоматизировать браузерные игры. На данный момент я смутно представляю себе, как это можно делать, но опыта работы с client side у меня нет, что я и хочу исправить.

Насчёт того, что серверу глубоко побоку, откуда к нему поступают данные - не уверен. Я уже занимался в своё время автоматизированным получением контента веб-страниц и посылкой AJAX-запросов через curl, и прекрасно понимаю что если я, скажем, буду загружать только интересующий меня контент, сознательно игнорируя подгрузку всякой вспомогательной графики или исполнение скриптов, то сервер, который не хочет допускать использование ботов, меня легко вычислит и забанит. Поэтому работа с реальным браузером - самый простой способ не спалиться.

[VZVZ]

Александр Аксентьев: а если админы каждый день будут смотреть у себя логи и каждый день добавлять валидацию нового заголовка?))

А если там на каждый долбаный клик идет по 10 запросов последовательно, в каждом 10 параметров, 10 куков, в теле запроса разные форматы представления данных и в каждом по 10 значений передается, + 10 возможных редиректов?

> то надо разборать фронтенд(это в любом случае надо)
Вообще-то можно и не разбирать: сниффер, имитировать URL, куки, тело запроса - и всё. Зачастую этого достаточно. До поры.

[Alexej Simakov]

Semisonic: ну вот старенькая статья code.tutsplus.com/tutorials/how-to-build-a-python-...
такой подход самый универсальный как мне кажется, и сгодится не только для создания игровых ботов, но и для автоматизации тестирования бизнес приложений.

[Semisonic]

Alexej Simakov: Видел и читал эту статью. Собственно, это всё было бы замечательно, но в моём случае игра довольно простая по механике, но сложная для работы машинного зрения. Плюс ресурсов это будет жрать куда больше, мне кажется.

Так что если это возможно - хотелось бы найти способ типа Javascript-инъекции прямо в браузере. То есть я бы уже сейчас стал смотреть куда-нибудь в сторону Greasemonkey, но тупо не знаю, возможно ли перехватывать работу того кода, который рисует что-то на canvas, чтобы считывать данные не как изображение, а как то, на основе чего оно генерируется. Также смотрел в сторону Selenium, но в инете пишут что каждый тест там запускается в отдельном инстансе браузера, то есть цикличный запуск с меняющейся от итерации к итерации логикой там реализовать проблематично.

Answer 2

[Юрий]

делал такое именно поиском картинки в картинке. вполне спортивно, машинное зрение и распознавание образов тут не надо. удобно что не нужно изучать внутреннюю работу игры и не зависишь от изменений кода/новых версий. также удобно для игр с закрытым кодом (flash).

но если хочешь сделать именно на уровне бизнес логики - то выбор небольшой:
проще: подсмотреть какие запросы уходят на сервер и написать скрипт отправляющий такие же, из минусов - визуально на экране не увидишь изменений, до перезагрузки, хотя браузер по сути тут не обязателен вообще.

чуть сложнее но круче: извлечь js код и посмотреть внутренне апи (сложность в том что код скорее всего минимифицирован и возможно обфусцирован, тогда без названия переменных может быть сложнее). после разбора кода его можно поменять (дописать свою бизнес логику) и подменить в браузере, можно добавить новые кнопки и функции в интерфейс.

сам не пробовал, но что-то слышал про toolXYZ

использую все способы в зависимости от задачи.