Качество кода - это один из наименее важных факторов для 90% клиентов, исключение составляют клиенты-разработчики.
Сначала определитесь для чего вам самим нужен рефакторинг: из морально-этических побуждений или есть более конкретный "выхлоп" от рефакторинга - вы повыбрасываете все лишнее и вырастет производительность самого кода или вы будете добавлять новый функционал быстрее? Если и то и другое маловероятно и других конкретных причин нет, то может и не стоит ввзяываться в рефакторинг.
Хотелось бы узнать как вы с этим живете.
Иногда занимаемся "партизанщиной" - рефакторинг ведется за счет других задач.