в одном проекте с .net core добавить react или разными это делать?
Лучше разными. Бэкенд отдельно, а фронтенд отдельно.
Тогда и не придётся изучать специфичные гайды про интеграцию MVC с реактом.
Для докера есть встроенные инструменты для генерации докерфайла.
А для MySQL ничего специфичного нет - главное не ставь официальный оракловый драйвер (он медленный)