Я ответил ему, что не собираюсь возвращать предоплату, он в свою очередь ответил тем, что будет решать это в суде.
Вы также можете стать в позу и сказать что никакой предоплаты не получали и будете решать это в суде :)
Вообще если ничего не подписывали, расписок он с вас не брал — можете не беспокоиться, тем более если работали удаленно, просто забейте на заказчика, забудьте и живите дальше :)