Проблему решил. Вот решение:
Чтобы заменить страницу авторизации my-account нужно использовать 2 фильтра: the_content и wc_get_template_part. В первом необходимо проверить на какой странице пользователь. На второй необходимо проверить какой шаблон вызывается и подменить его своим
Причем, если нет ajax или иных штук создающих авторизацию через попап, то возможно wc_get_template_part и не понадобится. Так же, надо обратить внимание, что для wc_get_template_part необходимо указать принятие 3х параметров, чтобы можно было проверить что за шаблон вызывается
В обоих фильтрах необходим проверять где находится пользователь или какие шаблоны вызваются. Плюс, проверять авторизован ли пользователь