Мусорные записи - конечно лучше чистить, база будет жрать меньше памяти. На скорость выборок непосредственно влиять не должно, если нормально индексы поставлены и запросы по ним ходят.
Для подобных вещей иногда создают отдельную БД в которую "переливают" устаревшие данные. Бонусы: если затрете, что-то важное, потом можно будет выгрузить обратно. Если понадобиться построить репорт по старым данным - вот они под рукой.