Хочу понять, насколько глубоко надо лезть в бэкэнд
Можно вообще не лезть - разработчик фронтэнда это отдельная профессия.
Надо ли учить PHP
Нет. Есть множество альтернатив: nodeJS, python, java, c#.
и MySQL
Нужно знать SQL. Помимо MySQL есть и другие популярные СУБД по типу Postgresql и oracle. У них есть свои особенности синтаксиса sql, но зная базу sql освоить особенности той или иной базы - дело не хитрое.
Обязательно ли знать как настраивать nginx
Чтобы писать код - нет. Чтобы иметь преимущество на фоне других соискателей/фрилансеров - да.