Как убрать переносы строки в unicode?

Question

[akelsey]

Станадртные методы не удаляют до конца.

В кратце ситуация, из elasticsearch библиотекой забираю определенный документ, с определенной структурой, который мне нужно переделать. Т.е. эти строки уже лежат в Elastic и я ожидаю что не нужно будет с ними возится, но по странной, даже непонятной мне причине, стандартная библиотека - не экранирует кавычки, вместо полей в кавычках массивы в JSON возвращает с апострофами, т.е. например:

{
"lastname": "Иванов",
"education": [
'пту №1',
'университет патрисы лумумбы'
],
"hobbies": "Люблю вышивать "крестиком" и 
вязать на спицах"
}

с кавычками частично справился,
нарисовал тупую функцию (внимание побочка! у перфекционистов могут закровоточить глаза):

def filter(mystr) -> str:
    mystr = str(mystr)
    mystr = mystr.replace('\r\n', u' ')
    mystr = mystr.replace('\r', u' ')
    mystr = mystr.replace('\n', u' ')
    mystr = mystr.replace('\\r', u' ')
    mystr = mystr.replace('\\n', u' ')
    mystr = mystr.replace('\\r\\n', u' ')
    mystr = mystr.replace('\'', u'"')
    mystr = mystr.replace('\"', u'\\\"')
    mystr = mystr.replace(u'True', u'true')
    mystr = mystr.replace(u'False', u'false')
    mystr = mystr.replace(u'None', u'null')
    re.sub('^\s+|\n|\r|\s+$', u'', mystr)
    return str(mystr)

Она частично работает, но из 100 документов в 5 пропускаются строки с переносом.
Глянул в hex строчку с переносом (между "и" & "в":

я вижу 0xD 0xA которые вроде должны были убиться функцией, но они там остаются, но в юникоде же это должно быть 0x000D и 0x000A если не ошибаюсь. (т.е. сами символы закодированы верно 0xD0B8 & 0xD0B2). Или это ок для UTF-8?
Есть ли какой стандартный метод или функция или библиотека, которой можно скормить JSON для bulk в elasticsearch, что бы она обошла все значения рекурсивно значения ключей и всё сделала "зашибись".
Спасибо.

Comments

[Andy_U]

Это вот действительно так:

"Люблю вышивать "крестиком" и
вязать на спицах"

Т.е. двойные кавычки внутри двойных кавычек? Или там разные символы? См. stackoverflow

[akelsey]

Andy_U, больше проблема не в кавычках, а в переносе строки. \n \r или 0xA 0xD. не могу вычистить, а из-за этого не могу закинуть в эластик.
За ссылку спасибо, посмотрю.

[Сергей Горностаев]

Зачем эти костыли, если можно просто скормить строку полученную из эластика модулю json?

[Andy_U]

akelsey, Что-то я перестал понимать, что Вам нужно сделать. В вопросе вы говорите, что Вы что-то забираете из elasticsearch, в ответе на мой комментарий - что что-то не можете туда закинуть. Я думал, что это elasticsearch вам такие кривые строки выдает, но похоже вы просто json ручками генерируете, добавляя в строки начальные и завершающие кавычки и пытаясь обработать ручками переносы строк, обратные слеши и пр.? Воспользуйтесь тогда или функцией repr() вместо вашей, или предыдущим советом.

[Andy_U]

Сергей Горностаев, А можно еще filter() автора заменить на repr().

[akelsey]

Сергей Горностаев,

Зачем эти костыли, если можно просто скормить строку полученную из эластика модулю json?

Да я наивно полагал что если я получу строку:

for hit1 in res1['hits']['hits']:
    peopleAbout = hit1['_source']['about']

то в peopleAbout будет готовая строка, которую я смогу потом забросить в другой индекс без всякого преобразования, но не выходит цветок каменный Данила... Т.е. я его закидываю через bulk (примерный код):

json = '{"index":{}}\n" \
    + '{' \
    + '"newfield":' + people + '}"
es.bulk(index="new_index",json)
print(json)

эластик не ругается, но не пишет в индекс, вставляю этот же текст в кибану в девтулз, вижу ошибки различные типа
codec can't decode byte 0xb2
char 9
... и другие
Исправляю в devtools - текст влетает в эластик:

POST new_index/_bulk
{"index":{}}
{......}

Andy_U,
Я забираю документ из одного индекса, пытаюсь его преобразовать в новый json и записать в другой индекс. Основная идея была что это потребует минимальных переделок, но оказалось не так.

Про repr() спасибо почитаю.

[Andy_U]

akelsey, Лучше сразу про json.dumps() почитайте.

[akelsey]

Andy_U, Сергей Горностаев, спасибо парни, вы меня отправили копать в правильном направлении. В целом я неверно обрабатывал ответы эластика, мне не нужно было работать с ними как со строками, а необходимо сразу было работать как с объектами типа dict & list и в конце уже json.dumps для скармливания эластику, отсюда и были проблемы. Вот чем хорош тостер, тем что если видишь, что коллеги в области в которой ты нуб, не понимают твоих проблем, значит где-то я свернул не туда. :-)

Answer 1

[teenager_python]

Регуляркой:
import re

mystr = " balabla\n zzz "

re.sub("^\s+|\n|\r|\s+$", '', mystr)

Comments

[akelsey]

Да спасибо за ответ, в коде функции filter есть эта регулярка, но не работет. см. выше.