Формулировка задания, я бы сказал очень неточная, но отвечаю так как я её понял.
"Нужно найти разбиение стоимости на пяти- и трёхкопеечные монеты без остатка"
Для стоимости более 15 копеек такое разбиение всегда можно найти. Для цены до 15 копеек возможность разбиения находится перебором.
Для определения минимального количества трёхкопеечных монет смотрим на остаток деления на 5:
остаток 0 - 0 (или 5) трёхкопеечных монет
остаток 1 - 2 трёхкопеечных монеты
остаток 2 - 4 трёхкопеечные монеты
остаток 3 - 1 трёхкопеечная монета
остаток 4 - 3 трёхкопеечные монеты
Количество пятикопеечных монет считаем исходя из количества трёхкопеечных.
NB: трёхкопеечные, а также пятикопеечные монеты пишутся вместе. Если вы пишите количество монет и не хотите склонять их названия, пишите количество после наименования: трёхкопеечных монет - 5.