И что тут такого? "Я все обдумал, в данный момент, все же, ваша вакансия мне не очень подходит, так как далековато/зп не очень устраивает/стек технологий не очень/расположение не нравится/дмс нет и т.д. в любых комбинациях". Главное все делать вежливо.
А так просто мысленно задайте для себя некую планку, которая бы сподвигла вас уйти с текущего места. Если вдруг кто-то перепрыгнет, то почему бы нет, ну а если не дотянет, то у вас полное моральное право отказаться.
К тому же, никогда не стоит забывать, что поход на собеседование заключается не только в том что компания смотрит на вас, но и в том что вы(!) смотрите на компанию. И вам тоже может что-то не нравиться.