Как реализовать цикл удаление слов из строки в dataframe?

Question

[madsee]

Добрый День.
Пытаюсь написать цикл для удаления определенных слов из строки, возможно это можно реализовать гораздо легче.
У меня есть список населенных пунктов, где есть ошибки вместо буквы "ё" написано 'е' или вместо 'город' написано 'деревня'. Пробую создать столбец только по названию, предварительно удалив все 'лишние' слова. По итогу ничего не меняется.

wordlist = ['поселок','посёлок','городской','городского','типа','деревня']
import re
def locality_id(row):
    name_id = row['locality_name']
    if name_id in wordlist:
        name_id = re.sub('(' + '|'.join(wordlist) + ')','',name_id)
        return name_id
    else:
        return name_id

Answer 1

[PavelMos]

1. Как записан населенный пункт в locality_name ? Если 'деревня Медвежья', то функция её не обработает, потому что if проверяет на совпадение с элементом списка целиком, а не деревню отдельно. Имхо проще не делать проверку дополнительную, а обрабатывать сразу всё подряд
2. Нужно пробел/ы после удалённого слов/а убирать через lstrip или добавить пробел к словам в списке в регекспе,
3. Добавить варианты Деревня, Город, Посёлок

wordlist = ['Посёлок','Поселок','поселок','посёлок','городской','городского','типа','деревня','Деревня']

def locality_id(row):
    name_id = row['locality_name']
    name_id = re.sub('(' + '|'.join(wordlist) + ')','',name_id).lstrip()
    return name_id


for idx, row in df1.iterrows():
     print ('cell=', df1.loc[idx, 'locality_name'])
     df1.loc[idx, 'locality_name']=new_cell
     new_cell=locality_id(row)
     print ('new_cell=',df1.loc[idx, 'locality_name'])

Answer 2

[Ternick]

А что вы передаёте в Row?

Comments

[madsee]

Извиняюсь не указал, DF с названием населенных пунктов, в нем есть вот такие значения "деревня мурино" , "поселок мурино", "мурино" и "посёлок мурино", хотя это все один населенный пункт

[Ternick]

madsee, переменной слабо скинуть?

[madsee]

Ternick,

df = ['санкт-петербург', 'посёлок шушары', 'городской посёлок янино-1',
       'посёлок парголово', 'посёлок мурино', 'ломоносов', 'сертолово',
       'петергоф', 'пушкин', 'деревня кудрово', 'колпино', 'гатчина',
       'поселок мурино', 'деревня фёдоровское', 'выборг', 'кронштадт',
       'кировск', 'деревня новое девяткино', 'посёлок металлострой',
       'посёлок городского типа лебяжье',
       'посёлок городского типа сиверский', 'поселок молодцово',
       'поселок городского типа кузьмоловский',
       'садовое товарищество новая ропша', 'павловск',
       'деревня пикколово', 'всеволожск', 'волхов', 'кингисепп',
       'приозерск', 'сестрорецк', 'деревня куттузи', 'посёлок аннино',
       'деревня заклинье', 'поселок первомайское', 'красное село',
       'посёлок понтонный', 'деревня старая', 'деревня лесколово',
       'село путилово', 'мурино', 'ивангород', 'шлиссельбург',
       'никольское', 'зеленогорск', 'сосновый бор', 'поселок новый свет',
       'деревня оржицы', 'деревня кальтино', 'кудрово',
       'поселок романовка', 'посёлок бугры', 'поселок бугры',
       'поселок городского типа рощино', 'кириши', 'луга', 'отрадное',
       'село павлово', 'волосово', 'посёлок городского типа красный бор',
       'коммунар', 'посёлок молодёжное', 'посёлок победа',
       'деревня нурма', 'тосно', 'посёлок новый свет',
       'посёлок городского типа кузьмоловский', 'посёлок стрельна',
       'поселок терволово', 'поселок городского типа советский',
       'подпорожье', 'посёлок петровское',
       'посёлок городского типа токсово', 'поселок сельцо',
       'деревня кипень', 'деревня келози', 'деревня вартемяги',
       'посёлок тельмана', 'городской поселок большая ижора', 'тихвин',
       'деревня лопухинка', 'нет данных', 'деревня агалатово',
       'посёлок новогорелово', 'деревня лаголово', 'поселок цвелодубово',
       'деревня белогорка', 'городской посёлок новоселье',
       'деревня большие колпаны', 'деревня горбунки', 'деревня заневка',
       'приморск', 'городской посёлок фёдоровское', 'деревня мистолово',
       'новая ладога', 'поселок барышево', 'деревня разметелево',
       'поселок городского типа имени свердлова', 'деревня пеники',
       'поселок рябово', 'деревня пудомяги', 'поселок станции корнево',
       'деревня низино', 'сясьстрой', 'деревня бегуницы',
       'посёлок поляны', 'поселок городского типа синявино',
       'деревня колтуши', 'поселок запорожское',
       'посёлок городского типа рощино', 'деревня гостилицы',
       'деревня малое карлино', 'посёлок мичуринское',
       'посёлок городского типа имени морозова', 'посёлок песочный',
       'посёлок сосново', 'деревня аро', 'поселок ильичёво',
       'посёлок городского типа тайцы', 'деревня малое верево',
       'деревня калитино', 'посёлок городского типа ульяновка',
       'поселок городского типа дубровка', 'деревня мины',
       'поселок войсковицы', 'посёлок городского типа имени свердлова',
       'посёлок ропша', 'поселок городского типа приладожский',
       'пикалёво', 'деревня рабитицы', 'деревня кузьмолово',
       'деревня малые колпаны', 'поселок тельмана',
       'городской посёлок назия', 'городской посёлок павлово',
       'посёлок ильичёво', 'поселок углово', 'поселок старая малукса',
       'садовое товарищество рахья', 'поселок аннино', 'посёлок щеглово',
       'поселок победа', 'деревня меньково', 'лодейное поле',
       'поселок городского типа рахья', 'посёлок сапёрный',
       'поселок семрино', 'поселок кобринское', 'деревня гарболово',
       'деревня юкки', 'поселок станции приветнинское',
       'поселок зимитицы', 'поселок мельниково', 'посёлок пудость',
       'поселок городского типа вырица', 'светогорск',
       'городской посёлок мга', 'посёлок городского типа кузнечное',
       'любань', 'поселок селезнёво', 'поселок городского типа рябово',
       'деревня кривко', 'поселок глебычево', 'деревня парицы',
       'поселок жилпосёлок', 'посёлок городского типа мга', 'сланцы',
       'городской поселок янино-1', 'посёлок войскорово',
       'село никольское', 'посёлок терволово', 'поселок стеклянный',
       'посёлок мыза-ивановка', 'село русско-высоцкое',
       'поселок городского типа форносово',
       'поселок городского типа красный бор', 'городской посёлок виллози',
       'деревня лампово', 'деревня шпаньково', 'поселок поляны',
       'поселок станции вещево', 'деревня старосиверская',
       'посёлок кикерино', 'поселок возрождение',
       'деревня старое хинколово', 'посёлок пригородный',
       'посёлок торфяное', 'поселок суходолье', 'поселок красная долина',
       'поселок елизаветино', 'деревня хапо-ое', 'поселок лисий нос',
       'деревня яльгелево', 'посёлок стеклянный', 'село рождествено',
       'каменногорск', 'деревня сяськелево', 'поселок жилгородок',
       'посёлок городского типа павлово', 'деревня батово',
       'поселок новый учхоз', 'поселок гончарово', 'посёлок сапёрное',
       'посёлок городского типа вырица', 'посёлок гаврилово',
       'посёлок белоостров', 'поселок лукаши', 'деревня щеглово',
       'посёлок усть-луга', 'деревня извара', 'поселок мичуринское',
       'городской посёлок рощино', 'поселок ушаки',
       'поселок кингисеппский', 'деревня торосово',
       'посёлок форт красная горка', 'поселок городского типа токсово',
       'деревня новолисино', 'деревня глинка', 'посёлок мельниково',
       'поселок глажево', 'деревня старая пустошь',
       'посёлок городского типа вознесенье', 'посёлок репино',
       'деревня разбегаево', 'поселок гладкое',
       'поселок городского типа лебяжье',
       'посёлок при железнодорожной станции приветнинское',
       'посёлок жилгородок', 'деревня большая вруда', 'посёлок лисий нос',
       'городской посёлок советский', 'посёлок кобралово',
       'деревня суоранда', 'поселок кобралово',
       'коттеджный поселок счастье', 'поселок починок', 'деревня реброво',
       'деревня зимитицы', 'деревня тойворово', 'поселок семиозерье',
       'поселок лесное', 'посёлок суйда',
       'посёлок городского типа форносово', 'поселок любань',
       'деревня нижние осельки', 'поселок перово', 'поселок заводской',
       'высоцк', 'поселок гарболово', 'село копорье', 'село шум',
       'поселок петровское', 'посёлок ленинское',
       'деревня большая пустомержа', 'деревня пижма',
       'поселок городского типа назия', 'поселок котельский',
       'коттеджный поселок кивеннапа север', 'поселок коробицыно',
       'деревня каськово', 'поселок сумино',
       'поселок городского типа большая ижора', 'деревня терпилицы',
       'деревня ваганово', 'поселок пушное', 'садовое товарищество садко',
       'деревня камышовка', 'деревня трубников бор', 'поселок калитино',
       'посёлок высокоключевой', 'садовое товарищество приладожский',
       'посёлок перово', 'деревня ненимяки',
       'поселок пансионат зелёный бор', 'деревня снегирёвка',
       'посёлок станции громово', 'посёлок старая малукса',
       'посёлок александровская', 'деревня рапполово', 'поселок рабитицы',
       'посёлок усть-ижора', 'деревня лупполово',
       'деревня большое рейзино', 'село паша',
       'коттеджный посёлок лесное', 'поселок громово',
       'посёлок возрождение', 'посёлок дзержинского']

[Ternick]

madsee, На сколько я понял, то вы хотите сделать так:

wordlist = ['поселок','посёлок','городской','городского','типа','деревня']
import re

def locality_id(row):
	name_id = row['locality_name']
	for word in wordlist:
		if word in name_id:
			name_id = re.sub('(' + '|'.join(wordlist) + ')','',name_id)
			return name_id.strip()
		else:
			return name_id.strip()

не ?
Это конечно плохой код, но работающий :)
Тэк, если я всё правильно понял и решил ваш вопрос, то теперь укажу на ошибку в вашем коде:

wordlist = ['поселок','посёлок','городской','городского','типа','деревня']
import re
def locality_id(row):
    name_id = row['locality_name']
    if name_id in wordlist: # Тут будет всегда False
        name_id = re.sub('(' + '|'.join(wordlist) + ')','',name_id)
        return name_id
    else:
        return name_id # Поэтому код всё время прыгает сюда и ничего не меняется :)

Ошибка сравнения в том, что вы пытаетесь узнать есть ли всё словосочетание (name_id) в массиве (wordlist).
Теперь вариант, который на мой взгляд будет выгоднее использовать чем регулярное выражение:

wordlist = ['поселок','посёлок','городской','городского','типа','деревня']

def replace(name_id, bad_words):
	for bad_word in bad_words:
		name_id = name_id.replace(bad_word)
	return name_id

def locality_id(row):
	return replace(row['locality_name'], wordlist).strip()

[madsee]

Ternick Спасибо большое. Обязательно изучи Ваши код