cert.pem и privkey.pem единственные файлы
Они не только не единственные, но даже и называться могу совершенно произвольно :) Кроме файлов ключа и сертификата ключа
всегда есть файл корневого сертификата издателя, либо цепочка сертификатов издателя, ведущая к его корневому сертификату. Этот корневой сертификат хранится в специальном хранилище, называемом хранилищем доверенных корневых сертификатов. Система автоматически доверяет любому сертификату, если она способна проследить издателя до сертификата, находяещгося в хранилище корневых сертификатов. Вопрос в том, откуда браузер берет информацию о корневых сертификатах :)
Ишак, Опера, Хром, ЯБ - используют системное хранилище винды
FF имеет свое хранилище
Чтобы решить вопрос с доверенностью сертификата от LE (как и любого другого) - нужно знать, откуда он берет данные о корневых сертификатах и, в случае необходимости, добавить их туда