Можно ли как-нибудь обучить бота с помощью видео игрока «osu!»?

Question

[Ru5D1mG4me]

можно ли обучить бота с помощью видео игрока "osu!", чтобы бот мог повторить действия игрока? Я просто не знаю возможно ли такое.

Comments

[Алан Гибизов]

При чем тут Python? Зачем 30 тысячам подписчиков тега Python этот вопрос видеть?

[Ru5D1mG4me]

Алан Гибизов, незнаю просто потому что спросил у людей которые хоть как-то в python разбираются

[Алан Гибизов]

Ru5D1mG4me, вы же на компьютере программируете? Есть ещё теги программирование, компьютеры… че б туда не запулить? Там люди есть, разбирающиеся в программировании и компьютерах.

Настоятельно советую оставить только самые конкретные теги. А если пишете в тег Python, приводите свое код, чтобы было о чём говорить с любителями Python.

[Ru5D1mG4me]

Алан Гибизов, ладно буду знать

Answer 1

[Иван Фурсов]

Если на нейросетях то да возможно.
Ты же тоже на нейросетях!
Ты же когда на других смотришь можешь повторить действия.

Comments

[Ru5D1mG4me]

можно какую-нибудь литературу по нейросетям для python? просто в инете искал, но там только показывают как создать числовую нейросеть.

[Василий Банников]

Ru5D1mG4me, игра в осу тоже сводится к числам.
Но вооьше, имхо, в осу можно и без нейросетей играть - достаточно распознавания паттернов.
можно даже какойнибудь специальный упрощённый скин для осу поставить, дабы проще эти паттерны распознавать.
Гугли opencv

[Ru5D1mG4me]

Василий Банников, через распознавание паттернов я пробовал, но там это работает иначе чем я представлял, да я для расознавания паттернов скин сделал чтобы лишнюю фигню убрать. если можете помочь то вот код:

import numpy as np
import cv2
import pyautogui
import time
from PIL import ImageGrab


# здесь сделал функцию клика
# потому что pyautogui.click() не работает как надо в игре
def click(x, y):
    pyautogui.moveTo(x, y)
    pyautogui.mouseDown(button='left')
    time.sleep(0.01)
    pyautogui.mouseUp(button='left')


# тут ищется нота и когда программа рисует прямоугольник начитается вычисление
# позиций центра прямоугольника и производит клик по позиции
# а потом заново запускает себя чтобы искались други ноты
def finding(filename):
    img = ImageGrab.grab(bbox=(280, 22, 1637, 1079))
    img_bgr = np.array(img)
    img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)
    img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
    template = cv2.imread(filename, 0)
    w, h = template.shape[::-1]

    res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
    threshold = 0.5
    loc = np.where(res >= threshold)
    for pt in zip(*loc[::-1]):
        cv2.rectangle(img_rgb, pt, (pt[0] + w, pt[1] + h), (0, 0, 255), 2)
        for p in img_rgb:
            x = pt[0] + w * 1.7
            y = pt[1] + h / 1.7
            pyautogui.moveTo(x, y)
            click(x, y)
            finding('note.png')


# здесь отсчет и нажатие на кнопку рестарт
time.sleep(10)
click(963, 535)

while True:
    finding('note.png')

вот скрин ноты:

по сути должно работать но он кликает либо раньше либо позже

[Василий Банников]

Ru5D1mG4me, хз. Не шарю в этом.
надо детектить момент, когда расстояние между кольцами минимальное

[Ru5D1mG4me]

Василий Банников, ну я так и делаю через скриншот но он не нажимает тогда когда видит похожую картинку как на скриншоте

[Василий Банников]

Ru5D1mG4me, думаю, скриншот - это слишком медленно. Надо в реальном времени картинку передавать

[Ru5D1mG4me]

Василий Банников, ну я не знаю как это сделать. есть какой нибудь модуль для этого?

[Василий Банников]

Ru5D1mG4me, хз. попробуй загуглить

[Ru5D1mG4me]

Василий Банников, насколько я знаю, нет такого модуля для этого

[Василий Банников]

Ru5D1mG4me, немного погуглил, пишут что есть вполне неплохой mss

[Ru5D1mG4me]

Василий Банников, mss по сути тоже скриншоты делает

[Василий Банников]

Ru5D1mG4me, ну я не особо шарю. Просто написали, что он работает чуть быстрее и может спокойно 15+ кадров в секунду делать.

[Ru5D1mG4me]

Василий Банников, у меня с PIL примерно 40+ кадров в секунду

[Иван Фурсов]

как сказал мой учитель-"Сложное начинается с простого"