CSS конечно влияет - это же прорисовка страницы, как ни крути: сам Гугл рекомендует сжатие, использование 1 файла и асинхронную подгрузку, если действительно большое количество стилей, да ещё и скриптов в догонку.
Файлы тоже, потому как сервер тратит время на то, чего изначально нет.
На счет правила 20 - 80 - это, конечно, хорошо, но лучше делать всё по этапно и всё, потому как на практике не бывает 20%, кот. нужны меньше, чем 80%, особенно когда речь идёт о загрузке в 2.5-3 сек и более.
Кроме того, валидный CSS - всегда небольшой, но плюс в SEO, а отсутствующие файлы - огромная дыра в нём же.
