Как с помощью bash заменить в файлах рекурсивно urlencoded строки на обычные?

Question

[kapitansen]

Есть архив статического html-сайта, некоторые ссылки в котором сделаны типа "lista-fundaci%C3%B3n". Папки и файлы, соответственно, называются нормально - lista-fundación. При переходе по ссылке со спецсимволами сервер отдает 404. Как привести это в надлежащий вид? Пытаюсь составить команду для автозамены, но в bash я не силен.

Comments

[Дмитрий]

Веб-сервер по идее понимает urlencoded-ссылки и превращает их в нормальные имена файлов, когда кто-то по ним переходит. Хорошо бы в логах посмотреть, какой именно файл не находит веб-сервер. Или полностью привести вывод 404-й ошибки, если там есть эта инфа. В общем, нужно больше подробностей.

[kapitansen]

Дмитрий, в логах вот что:

185.159.156.20 - - [20/Oct/2020:12:42:35 +0000] "GET /innovations/lista-fundaci%C3%B3n-capital/ HTTP/1.1" 404 397 "
-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.119 Safari/537.36"

[Дмитрий]

kapitansen, а в браузере?

[kapitansen]

Дмитрий, вот:

[kapitansen]

Дмитрий, поясню - я ожидаю, что вместо 404 загрузится файл index.html в папке /innovations/lista-fundación-capital/

[сергей кузьмин]

попробуйте на питоне https://www.urldecoder.io/python/

[Дмитрий]

kapitansen, а веб-сервер какой и на чем работает? По крайней мере апач на линуксе без каких-либо проблем отдает файлы с юникодными сисволами по urlencoded ссылке (проверил это на вашем конкретном случае).

Answer 1

[User]

function urldecode() { : "${*//+/ }"; echo -e "${_//%/\\x}"; }
for f in encoded.html enpage.html; do
    urldecode `cat "$f"` > "$f"
done

urldecode()

Comments

[kapitansen]

для всех файлов будет for f in *; do ?

[User]

В цикле вместо списка файлов также можете использовать `find * -type f`, но аккуратно, это затронет абсолютно все файлы во всех директориях
`find * -maxdepth 0 -type f` - только в текущей папке

[kapitansen]

сработало на тестовом файле, но съело все переходы на новую строку (\n). Ещё немного подскажите, пожалуйста

[User]

kapitansen, Попробуйте заменить `` конструкции на "$()" и для find, и для cat. Команды должны быть внутри скобок

Answer 2

[zohan1993]

grep 'lista-fundaci%C3%B3n' -P -R -I -l * | xargs sed -i 's/lista-fundaci%C3%B3n/lista-fundación/g'

Comments

[kapitansen]

Спасибо, но как предусмотреть вообще любые закодированные символы? там скорее всего есть и á, и é, и много всякого подобного)