Кодировка имени файла в HTTP-заголовках не зависит от кодировки содержания файла. И вообще это отдельное минное поле с миллионом багов. Почитайте
greenbytes.de/tech/tc2231, там много интересного.
В общем случае для более-менее современных браузеров стоит выбрать вариант с кодированием в UTF-8
greenbytes.de/tech/tc2231/#attwithfn2231utf8. Для надёжности стоит продублировать имя файла в HTML-атрибуте download у ссылки на скачивание. В нём нет проблем с кодировками и его поддерживают Firefox, Chrome (и всё на нём), планируется поддержка в Edge. В общем, хуже он не сделает.