Если это именно комментарии - то тут классическая экономия на спичках, никакой разницы от их тщательного удаления не произойдет от слова "совсем".
Однако те же HTML-комментарии могут использоваться для "выключения" участков кода (когда он весь как бы заносится в комментарий). И объем этого мусора может быть уже заметным, а что еще хуже - может оказаться, что это использовано внутри шаблона, где в такой комментарий попала еще и функциональность, например, РНР - и этот участок, несмотря на экранирование комментарием, таки выполнится. Что неочевидно и неприятно:
<!-- begin pseudo-comment
<script>
window.VeryBigData = <?= json_encode($db->getAllBigTable()) ?>;
</script>
-- end pseudo-comment -->
