Кто-то парсил русский текст PhantomJS?

Question

[Оптимус Пьян]

Проблема описана на github https://github.com/ariya/phantomjs/issues/10988 но никакого решения пока там нет. Под виндой вроде как всё нормально.
Кто ни будь из русскоязычных разработчиков копал проблему, существует решение?

Консоль показывает что текст есть, но в неверной кодировке:

Попробовал указать кодировку в методе page.open

page.open('https://site.ru/', {
        charset: 'utf-8', // или utf8
}, function(status) {

Не прокатило, результат тот же.
В JS есть аналог функции inconv на PHP может с её помощью попробовать перекодировать готовый текст?

Comments

[Алексей Lepshiz]

Судя по всему Вы используете linux сервер и в os нет необходимых кириллических шрифтов. Если так, попробуйте поставить стандартные шрифтовые пакеты.

[Оптимус Пьян]

Алексей Lepshiz: ну я решил проблему хоть и костылём, за наводку на шрифтовые пакеты спасибо, был не в курсе

Answer 1

[Алексей Сундуков]

Использую PhantomJS как 1.8 версии так и 2 на машинах с debian7, ubuntu 12/14. Попадаются сайты как в utf-8 кодировке, так и в 1251. Ясное дело все текста - кириллица. Работаю через webdriver из php. Проблем нет.

Answer 2

[Александр Аксентьев]

Писал бота для чата, проблем не было на дебиане

Чат


Просто открытие сайта

Comments

[Оптимус Пьян]

хмм, интересно, обновил вопрос добавил скриншот из консоли и как я кодировку у метода указываю, вы как-то указываете в скрипте?

[Александр Аксентьев]

Дмитрий: консоль не любит русский. Запишите в файл и увидите что всё хорошо.

[Оптимус Пьян]

Александр Аксентьев: записал в файл и увидел что там всё плохо, там вместо букв пробелы, консоль для этого случая специально запустил с настройкой отображающей русский

[Оптимус Пьян]

Александр Аксентьев: Александр, а вы не знаете, когда парсится длинный список, около 1000 ед. спарсится и потом сообщение Killed. На сервере в php.ini ограничения сняты. Куда копать, есть timeout в самом фантоме где-то? Или это сервер его убивает?

[Александр Аксентьев]

Дмитрий: убивает сервер, почему надо выяснять, так сразу не скажешь. Обычно когда процесс слишком много жрет ресурсов и долго.