Если они попали в индекс яндекса, соответственно, ссылки откуда-то взялись? Яндекс то сам по себе ссылки не придумывает, как мне кажется. Соответственно, нужно искать первопричину их возникновения (таких вот, "левых" ссылок, на сайте)
Далее, если у Вас в адресации используются напрямую файлы php, рекомендую отключить mod_rewrite (или другой аналогичный модуль), и проблема пропадёт сама собой.
Если перезапись всё-таки нужна, я бы рекомендовал разобраться с ситемой, почему она внезапно выдаёт страницы (и их дубликаты) по несуществующим адресам, вместо ошибок (404 например)?
После приведения движка в порядок, можно запретить (или наоборот добавить) слеши в конце адреса. Как убрать слеши в конце, обсуждалось например
тут. Уверен, аналогичной инфомации на тему, как эти слеши добавить - довольно большое количество.