@kgaudium

Как создать простую нейронную сеть на TF, которая сможет управлять игрой через захват экрана?

Даров! Я знаю что я чайник, дебил и т.д. и прошу написать что-нибудь полезное, а не это. Вообщем захотел я создать нейронку на питоне и решил что будет она играть в geometry dash и подсмотрел у одного челика, который делал нейронку для gta 5 часть кода отвечающий за захват экрана с помощью OpenCV и Pillow (https://www.youtube.com/watch?v=ks4MPfMq8aQ&list=P... )
Вот код, если кому-то интересно:
5c961d6167d18657048318.png
Так вот я столкнулся с проблемой: я слишком чайник и не знаю как запихнуть захват экрана в нейронку, как сказать ей, что можно на кнопочки нажимать и как сказать ей, что от неё требуется (желаемый результат). Поэтому обращаюсь к вам и надеюсь что вы хотя как-нибудь поможете. Заранее спасибо!
  • Вопрос задан
  • 966 просмотров
Решения вопроса 1
@rPman
Судя по вопросам, боюсь вы поставили себе пока непосильную задачу.

Для начала вы должны вручную определить в какие части экрана когда нужно нажимать, это реакция вашего исскуственного интеллекта, хорошо когда в зависимости от ситуации координаты этих областей не меняются (грубо говоря кнопки управления юнита).

Затем вы должны очень хорошо закодировать (отдельными алгоритмами, собственно opencv для этого хорошо подходит) чтобы распознать объекты на экране (глупо для этого пользоваться нейронкой, точнее это ДОРОГО), в итоге у вас будет информация об игровом мире в вашем представлении, удобном для использования в вашей программе. И только потом начинайте думать, как использовать полученную информацию, стоит ли вообще все заводить на нейронные сети.

В тупом варианте нейронные сети позволяют очень быстро обеспечивать реакцию на основе поиска похожих действий, в данных собранных в процессе обучения, если у вас нет супер компьютера в доступе и большого количества денег на оплату его работы, то маловероятно что вы уйдете дальше этого. Т.е. ваш искусственный интеллект будет играть так будто он случайно и бездумно жмет правильные комбинации кнопок.

geometry dash это обычный платформер, если я правильно понимаю там вообще одно действие - прыжок? Эта игра не требует нейронки от слова совсем, все действия рассчитываются простым анализом игрового мира (движения врагов рассчитываются за 3-4 кадра в коротком варианте либо заранее вы сами определяете что вот этот враг двигается по таким правилам) а дальше поиск по 'лабиринту' перебором или поиском в глубину.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы