woocommerce/templates/loop/pagination.php
Если желаете изменить шаблоны woocomerce, лучше копировать их в папку с вашей темой, они автоматом подгрузятся. Иначе при обновлении всё слетит.
Также можно изменить вывод задав аргумены.
https://docs.woothemes.com/document/woo_pagination/ 
