Как вытащить из текста эмоджи?

Question

[Айзиля Каримова]

В датафрейме есть колонка "comment_text" с текстом, содержащий эмоджи. Я вытащила встречающиеся в тексте эмоджи в отдельную колонку "emoji". Теперь мне нужно удалить строки, которые не содержат эмоджи, и вместо нескольких эмоджи оставить только одну.

Answer 1

[Максим Припадчев]

В целом тебе нет необходимости для "удаления" вытаскивать в отдельную колонку. Обычно из фрейма ничего не удаляют, его не изменяют, а извлекают из него подсеты которые отвечают твоим требованиям. Код придется картинкой опубликовать а то форматирование не поддерживает эмоджи.


Если ты не знаешь всех своих эмоджи то есть библиотеки получи все юникоды своих эмоджи и проверяй строку не содержит ли она юникод эмоджи, это будет очень медленно. лучше выбрать их несколько я думаю там их не много и как у меня в примере просто пусть их там десятка два будет а не два. Можно также попробовать простенькой регуляркой отловить что то типа такого

df[df['comment_text'].str.contains(r'[^\w\s,]', regex=True)]

Для моего примера работает, сработает ли в целом неизвестно.

Comments

[Айзиля Каримова]

Спасибо Вам большое. Попробую получить юникоды эмоджи, т.к. их много у меня. А отдельная колонка мне нужна для того чтобы оставить лишь одну эмоджи для одной строки датафрейма (часто встречающуюся). И в дальнейшем эта колонка будет целевой функцией для предсказывания.
А как мне оставить лишь одно эмоджи в строке, если их больше 1го?

[Максим Припадчев]

Айзиля Каримова, Ну так если ты вытащила все эмоджи в отдельную строку. 1. Ты можешь получить коллекцию юникодов каждого библиотека emoji (на всякий случай там внутри есть коллекция всех эмоджи). 2. Если ты смогла вытащить в отельную строку значит ты можешь знать содержит строка емоджи или нет то есть получать True или False. Значит ты можешь и выбрать необходимый подсет. df.loc[булевый массив, список колонок]. False строка не войдет в выборку. True войдет. булевый массив длинной равной длинне фрейма.

Смотри если ориентироваться на твою картинку то у тебя там в качестве объектов python списки. Сам тип столбца object что означает (python обject). Ты можешь написать функцию которая на вход получает список если список пуст возвращает например NaN если список не пуст, ну берет например последний элемент (последний эмоджи). Затем применить создать новый столбец df['last_emoji'] = df['emoji'].apply(your_function), где your_function простенькая python функция как я выше описал. Что то типо такого можно, потом выбрать все строки которые не содержать пропущенных значений и все. Много способов.

[Максим Припадчев]

Айзиля Каримова, И да если ты потом будешь прогнозировать тебе все равно придется кодировать эти emoji на уровне pandas то называется создание dummy переменных, на уровне ML хоть в scikit-learn хоть в других (даже не python библиотеках) это называется OneHotEncodeing. По смыслу это буде так. Предположим у тебя для простоты два смайла улыбка и досада. У тебя появляется две новые колонки улыбка и досада. например твоя первая строка содержит смайл улыбка. В колонке улыбка появляется запись 1 в колонке досада 0. Во второй строке у тебя смайл досада в колонке улыбка получается 0 в колонке дасада 1. Если есть строки где нет смайлов то у тебя все нули. Если в строке и досада и радость то и там и там единицы и по такому признаку хоть для 100 смайлов хоть для тысячи.

[Айзиля Каримова]

Максим Припадчев, еще раз большое спасибо за подробные объяснения)))