Потому что консоль при обработке ввода еще раз обрабатывает экранирование.
sed 's/5/\\\\n/' - при обработке ввода четыре символа \\\\ превращаются в два (каждый первый - экранирующй, каждый второй - экранируемый). При обработке команды два символа \\ превращаются в один. Вопрос экранирования пожалуй один из самый запутанных - иногда приходится экранировать по два и даже три раза!
