Как сконвертировать в utf 8 большой текстовый файл?

Question

[Printip]

Есть 40 гигов текстового файла (был получен путем парсинга сайтов). Естественно в файле кодировок вагон и тележка. Подскажите пожалуйста как это все добро конвертнуть в utf 8 ?
P.S. в файле куча разных кодировок.

Comments

[Оптимус Пьян]

Надо было приводить к нужным кодировкам на этапе парсинга

Answer 1

[Иван]

Правильный ответ - надо было конвертировать при парсинге.

Comments

[Printip]

неправильный ответ

[Иван]

Printip: конечно правильный. Потому что теперь вам эту гору добра надо дружно конвертировать в разные кодировки, искать теги и смотреть какой стал язык, копировать в новый файлик. Как минимум это займет кучу времени и места.
Из адекватных решений вижу: разбить файл на каждую страницу. Пробовать конвертировать каждую отдельно, вычлинять текущую кодировку и конвертировать. Опционально потом обратно все склеить.

Answer 2

[Иван Корюков]

Сомневаюсь что есть способ конвертировать файл в одну кодировку, когда разные его части имеют разную кодировку.
И вообще, зачем понадобилось складывать всё в один файл?
Не легче ли было записывать полученные данные в базу, ато файл на 40Гб...

Answer 3

[azsx]

команду enconv надо было применять при парсинге для отдельных файлов.

Answer 4

[abcd0x00]

Надо разделять файл обратно, определять в каждом куске кодировку, перекодировать его в общую кодировку, а потом соединять обратно перекодированное.