Можно ли удалить с помощью регулярного выражения все не UNICODE символы из колонки?

Question

[andreevyaroslav]

Можно ли удалить с помощью регулярного выражения все не UNICODE символы из колонки?

Перетаскиваю данные из хадупа в питон и возникла проблема.

Comments

[Rsa97]

А какие ещё символы есть, кроме unicode?
Вообще-то в нём вся таблица от 0 до 1FFFF

[Сергей c0re]

andreevyaroslav , можно подробностей?
1. что удалять, что не удалять, в каком виде строка?
2. удалять какими средствами СУБД или питоном?
3. какая СУБД ?

PS: регулярными выражениям можно все или почти все (очень многое)

[andreevyaroslav]

Сергей c0re, в общем, проблем такая, что с помощью питона перетянуть пытаюсь данные из хадупа в витрину терадаты, возникает ошибка 6706 https://docs.teradata.com/r/GVKfXcemJFkTJh_89R34UQ...
Так понимаю из-за ряда символов, удалять без разницы на самом деле как

[andreevyaroslav]

Сергей c0re, проблема в одном строковом столбце

[Сергей c0re]

andreevyaroslav, честно не знаю ни хадуп ни терадату, ни тем более не знаю как вы данные перетягиваете. но знаю про регулярки.

под юникодом вы имеете ввиду такие строки?

\u0442\u0435\u043a\u0441\u0442\u0020\u0432\u0020\u044e\u043d\u0438\u043a\u043e\u0434

[Сергей c0re]

andreevyaroslav, поменяйте теги к вопросу, тут явно надо еще какие-то добавить.

[Adamos]

andreevyaroslav, ошибка не "из-за ряда символов", а из-за того, что данные не в той кодировке. Поэтому, пытаясь прочитать их как UTF-8, БД обнаруживает последовательности байтов, которые в UTF-8 не имеют смысла. Вот и выдает вам соответствующую ошибку.

Answer 1

[Сергей c0re]

ну, если задача стоит почистить именно UNICODE!? это строка вида

\u0442\u0435\u043a\u0441\u0442\u0020\u0432\u0020\u044e\u043d\u0438\u043a\u043e\u0434

то примерно как-то так:

поиск
(\\u[0-9a-zA-Z]{4})(?!\\u[0-9a-zA-Z]{4}).*?(\\u[0-9a-zA-Z]{4})
замена на
\1\2

см. пример на regex101

import re

regex = r"(\\u[0-9a-zA-Z]{4})(?!\\u[0-9a-zA-Z]{4}).*?(\\u[0-9a-zA-Z]{4})"

test_str = ("\\u0442\\u0435\\u043a\\u0441\\u0442\\u0020\\u0432\\u0020\\u044e\\u043d\\u0438\\u043a\\u043e\\u0434\n\n"
	"\\u0442\\u0435dsds\\n\\u043a\\u0441\\u0442das\\u0020\\u0432dsdddddd\\u0020\\u044e\\u043d\\n\\n\\n\\u0438\\u043a\\u043e\\u0434")

subst = "\\1\\2"

# You can manually specify the number of replacements by changing the 4th argument
result = re.sub(regex, subst, test_str, 0)

if result:
    print (result)

см. пример python

PS: Unicode != UTF-8 charset
это не одно и то же.