В общем если кто столкнется с такой проблемой - было разработано решение.
1 - устанавливать координаты по умолчанию изначально
2 - делать запрос координат у пользователя
3.1 - если пользователь ничего не выдает, так и оставляем
3.2 - если пользователь отдает координаты - обновляем карту, находим его и уже от этого отходим
Для Firefox кто нажал "не сейчас" будут координаты по-умолчанию в любом случае.