Помоги себе сам )) нашел решение, вдруг кому пригодится
// Исходная строка в кодировке windows-1251, но в виде восьмеричной строки
$string = "\361\342\356\341\356\344\355\373\345_\356\361\362\340\362\352\350.xls";
// Функция для преобразования из восьмеричного формата в обычный
function convertOctalToCharacter($octal) {
return chr(octdec($octal[1]));
}
// Преобразуем из восьмеричного формата в обычный
$filename = preg_replace_callback('/\\\\([0-7]{1,3})/', 'convertOctalToCharacter', $filename);
// Перекодируем в utf-8
$filename_utf8 = iconv('windows-1251', 'utf-8', $filename);
// Переименуем файл в utf-8
rename($filename, $filename_utf8);