Для игр стоит использовать игровые движки, но если что-то простое, то у flutter есть фреймворк flame как раз для игр. Сам не пользовался, но он набирает популярность и, судя по описанию, довольно функционален.
А насчет сомнений насчет flutter из-за dart, то мой совет не заморачиться. Я без шуток начал работать с flutter не зная о dart совершенно ничего. Если есть опыт работы с каким-нибудь ооп языком, то специально садиться учить dart перед тем как приступить к изучению flutter не нужно. Он очень простой и понятный - эдакая смесь js и python. В процессе изучения flutter язык естественным образом изучится. Потом просто отдельно почитать про stream и isolate ( две более-менее уникальные фичи dart'а).