Ломается Sphinx, невалидный xml?

Question

[Юлия Коваленко]

Всем привет!
Есть база в mongoDB. С помощью javascript я собираю xml, который скармливаю sphinx (Sphinx 2.2.10-id64-release (2c212e0)), чтобы он приндексировал данные в монге. Весь процесс был отлажен и всё работало как часы. Но вдруг ни с того ни с сего стали появляться такие ошибки:

ERROR: index 'my_data_index': source 'my_data': XML parse error: no element found (line=1488774, pos=0, docid=24557554).

Смотрю xml на строке 1488774:

$ mongo my_db --quiet parse_index.js | grep -n '' | egrep '^1488774' -A8 -B9        
1488765:<sphinx:document id="24557554"> 
1488766:    <last_name>Иванова</last_name> 
1488767:    <first_name>Мария</first_name> 
1488768:    <middle_name>Владимировна</middle_name> 
1488769:    <bdate>41</bdate> 
1488770:    <bmonth>1</bmonth> 
1488771:    <byear>1975</byear> 
1488772:    <city>Санкт-Петербург</city> 
1488773:</sphinx:document> 
1488774:<sphinx:document id="24557584"> 
1488775:    <last_name>Петров</last_name> 
1488776:    <first_name>Дмитрий</first_name> 
1488777:    <middle_name>Иванович</middle_name> 
1488778:    <bdate>14</bdate> 
1488779:    <bmonth>9</bmonth> 
1488780:    <byear>1993</byear> 
1488781:    <city>Москва</city> 
1488782:</sphinx:document>

Раньше всё работало. Ничего не меняли, не обновляли никакие версии. Просто запустили indexer и всё начало ломаться.
Есть какие-нибудь идеи?

Comments

[cicatrix]

В порядке бреда - диск проверьте.

[Юлия Коваленко]

cicatrix, диск? я думаю не то) заметила, что ломается в разных местах... то есть дело не в данных. Походу память где-то кончается....

[Александр]

Данных стало много, сессия умирает (см. read_timeout), а так как они парсятся из потока, то xml становится невалидным. Решение: индексировать кусками

[cicatrix]

Юлия Коваленко, полтора миллиона строк для XML тяжеловато.

[Юлия Коваленко]

cicatrix, заметили, что еще и монга сожрала 29гб... короче да, проблема в памяти походу)

[abroabr]

cicatrix,

полтора миллиона строк для XML тяжеловато.

ничуть не много.
SAX-парзеру - все равно, это не нагрузка.
А вот DOM-парзеру - да, тяжело.

[cicatrix]

abroabr, А вы уверены, что монга у автора вопроса через SAX читает? Что там не "течёт" нигде?

[abroabr]

cicatrix, исходники Sphinx открыты - можете проверить. Да, там не DOM, а SAX.

Answer 1

[abroabr]

Раньше всё работало. Ничего не меняли, не обновляли никакие версии. Просто запустили indexer и всё начало ломаться.
Есть какие-нибудь идеи?

Сталкивался. Диагностика этой проблемы у Sphinx немногословна, к сожалению.
Нужно "экейпить" некоторые символы.
Гляньте стандарт XML.
Ну или не пишете напрямую в XML как в текстовый файл, а пишите в XML через специализированную библиотеку, умеющую корректо работать с XML.

Comments

[Юлия Коваленко]

Не проблема была именно в памяти. Александр в комментах к вопросу правильно написал.