Как переконвертировать файлы проекта из CP866 в UTF-8?

Question

[Дмитрий Тарасов]

В общем, нужно переконвертировать файлы проекта из кодировки cp866 в utf-8.
Пробую так

find project/method_pay -name "*.*" -exec iconv -f CP866 -t UTF-8 {} -o target/{} \;

Лезет такая ошибка

iconv: -o: No such file or directory
iconv: target/project/method_pay/method_pay_json.php: No such file or directory

Пробую еще через gulp

const gulp = require('gulp');
const convertEncoding = require('gulp-convert-encoding');

gulp.task('default', function () {
  return gulp.src('project/method_pay/*.*')
    // .pipe(convertEncoding({to: 'utf8'}))
    .pipe(convertEncoding({decode: 'CP866', encode: 'utf8'}))
    .pipe(gulp.dest('dist'));
});

Лезут такие ошибки

untitled@1.0.0 start /Users/fast/Sites/untitled
> gulp

[16:54:45] Using gulpfile ~/Sites/untitled/gulpfile.js
[16:54:45] Starting 'default'...
[16:54:45] 'default' errored after 8.48 ms
[16:54:45] Error in plugin 'gulp-convert-encoding'
Message:
    At least one of `from` or `to` required
npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! untitled@1.0.0 start: `gulp`
npm ERR! Exit status 1
npm ERR! 
npm ERR! Failed at the untitled@1.0.0 start script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     /Users/fast/.npm/_logs/2017-07-08T13_54_45_124Z-debug.log
BRAIN:untitled fast$

Может есть какой-то другой способ, ну или помогите с этими неработающими.

Answer 1

[AVKor]

enconv file.txt
dos2unix file.txt

Первая меняет кодировку (входная и выходная определяются автоматом; в Linux выходная по умолчанию - UTF-8).

Вторая меняет EOL.

Comments

[Дмитрий Тарасов]

Пишу так
enconv -x CP1251 -L ru method_pay.php

и ничего не конвертируется(

[AVKor]

Дмитрий Тарасов: Замечу, что CP1251 это не UTF-8. -L обычно и не требуется. И у меня всё работает.

[Дмитрий Тарасов]

AVKor: У меня в файле русские буквы как кроказябры, я делал так что открывал файл в vscode редакторе переделывал там в windows-1251, русские буквы стали нормальными а потом я уже в utf-8. Не буду же я каждый файл в проекте так делать.
Поэтому нужно сначала в cp1251 а потом уже в utf-8.

[AVKor]

Дмитрий Тарасов: Если кодировка испорчена, то стандартные перекодировщики её не поймут.

И зачем нужен промежуточный шаг - вообще непонятно.

[Дмитрий Тарасов]

AVKor: А как тогда сделать чтобы файл был utf-8 и русские символы там не были отображены как знаки вопроса ?

[AVKor]

Дмитрий Тарасов: Если enconv работает, то он работает и для UTF-8 (прежде всего), а не только в CP1251.

Если там испорченная кодировка, то см. выше.

[AVKor]

Дмитрий Тарасов: Опцию -d пробовали использовать?

Можете закинуть какой-нибудь из файлов куда-нибудь на посмотреть, что там внутри, почему не конвертируется.

[Дмитрий Тарасов]

AVKor: echo '��������� ����';

Вообщем сейчас все файлы в кодировке cp1251, делаю так
enca -L russian method_pay_form_inv.php
MS-Windows code page 1251

enconv -L russian -x UTF-8 method_pay_form_inv.php

Теперь как бы все файлы переконвертировать с этим методом рекурсивно ?

[AVKor]

Дмитрий Тарасов: Если на одиночных файлах всё в порядке, то да.

-x опция не обязательна, если выходная кодировка как в текущей локали.

[Дмитрий Тарасов]

AVKor: Как весь проект с файлами css, js, php, js, html переконвертировать ?

[AVKor]

Дмитрий Тарасов: Это всё текстовые файлы, так что неважно, что там за ЯП. Рекурсивный обход по find с enconv

[Дмитрий Тарасов]

AVKor: find ./ -name "*.php" -o -name "*.html" -o -name "*.css" -o -name "*.js" -type f |
while read file
do
echo " $file"
enconv -L russian -x UTF-8 $file
done;

Сделал так короче, вроде работает. Вроде ничего не должно поломаться))
Спасибо!

[AVKor]

Дмитрий Тарасов: С именами стоит внимательнее посмотреть, нет ли там *.PHP, etc. Если есть, то вместо -name сделать -iname

[Дмитрий Тарасов]

AVKor: тогда лучше для всех поставлю -iname

find ./ -iname "*.php" -o -iname "*.html" -o -iname "*.css" -o -iname "*.js" -type f |
while read file
do
echo " $file"
enconv -L russian -x UTF-8 $file
done;

Answer 2

[Sergey Lerg]

Попробуйте Python

import codecs
import os

for root, dirs, files in os.walk('.'):
	for file in files:
		f = codecs.open(file, "r", "cp866")
		contents = f.read()
		f.close()
		f = codecs.open(file, "w", "utf-8")
		f.write(contents)
		f.close()