Вам нужно использовать функцию
is_paged<?php if( is_paged() ){ ?>
<!-- Тут ваш HTML -->
<?php } ?>
Вставить этот код вам нужно в файл category.php, если такой есть. Если такого нет, или вам нужны дополнительные возможности изучите
иерархию шаблонов (то, как WP определяет из какого файла загрузить HTML).