Как удалить из строки все слова, начинающиеся на букву «м»?

Question

[sasha300]

Всем привет!
Уже 2 дня не могу победить задание:
# Задана строка из стихотворения:
# Удалите из строки все слова, начинающиеся на букву «м».
# Результат вывести на экран в виде строки.
# Подсказка: вспомните про модификацию списков.

a = "Мой дядя самых честных правил, Когда не в шутку занемог, \
    Он уважать себя заставил И лучше выдумать не мог"
a = a.split()
for i in range(len(a)): # 0,19
    if a[i][0] == "М" or a[i][0] == "м":
        del a[i]

На что выдает:

IndexError: list index out of range

Можно так:

a = "Мой дядя самых честных правил, Когда не в шутку занемог, \
    Он уважать себя заставил И лучше выдумать не мог"
a = a.split()
for i in range(len(a) - 1): # 0,19
    if a[i][0] == "М" or a[i][0] == "м":
        del a[i]

И код успешно уберет первое слово, но где гарантия, что в другом списке не будет пару слов, начинающиеся на букву "м"? Тогда надо ставить range(len(a) - 2) и т.д. Мой скрипт имеет в этом изъян.
Короче вижу, что зашел в тупик, im need help!

Comments

[sasha300]

блина, там ведь два слова "Мой" и "мог"

Answer 1

[Roman K]

Регуляркой:

import re
p = re.compile(r"\bм.*?\b", re.I)  # \b — это граница слова, есичё
re.sub(p, "" , s)

Списками:

" ".join([x for x in s.split() if not x.startswith(("м", "М"))])

Правильно:

" ".join(x for x in s.split() if not x.startswith(("м", "М")))

Comments

[JaxxDexx]

Уверены что генератором правильнее?

>>> timeit("' '.join(w for w in 'My home is danger because my dog is monster'.split() if not w.startswith(('m', 'M')))")
2.5913442222317826
>>> timeit("' '.join([w for w in 'My home is danger because my dog is monster'.split() if not w.startswith(('m', 'M'))])")
1.7360493094497542

[Roman K]

JaxxDexx, зависит от размера входных данных. Если список слов не будет по размерам превышать размер фрейма стека, который будет хранить генератор, тогда список эффективней. Если я скормлю твоей функции файл с 100гб текста — она загнётся и её убьёт OOM killer. А генератор сожрёт где-то 500 байт оперативы.

[JaxxDexx]

Roman Kitaev, да, поэтому генераторы правильнее на больших объемах входных данных. Если будет цикл, который постоянно обрабатывает маленькие кусочки текста, то списки более оправданы.

[Roman K]

JaxxDexx, на больших? По-твоему, 1000 строк в списке — это большие данные? Или ты собрался в продакшене всегда обрабатывать одну и ту же строку "мой дядя"?)

Вот тебе пример того, что списки ни разу не быстрее генераторов на небольших данных:


Мой вариант будет кушать меньше памяти, а выполняться одно время. Причём, куда стабильней, если ты посмотришь на отклонение.

[JaxxDexx]

Roman Kitaev, я ничего против генераторов не имею, но высказывание, что генераторы всегда использовать правильнее, это бред чистой воды. Генераторы нужно использовать с умом, а не пихать везде, где не попадя.

Вы где-то видели предложения размером в 1000 слов?

[Roman K]

JaxxDexx, А вы где-то видели продуктовые задачи, где нужно из предложения удалить слова, начинающиеся на "м"?)

[JaxxDexx]

Roman Kitaev, это просто вы узко мыслите, вполне возможны задачи по потоковой обработке предложений) Конечно удаление слов на букву м - это бредовая задача, но кто знает.

[Roman K]

JaxxDexx,

я ничего против генераторов не имею, но высказывание, что генераторы всегда использовать правильнее, это бред чистой воды. Генераторы нужно использовать с умом, а не пихать везде, где не попадя.

Я тут вдруг про тебя вспомнил. А ты знаешь, что при итерации списка ВСЕГДА создаётся генератор по этому списку? Его repr выглядит примерно так: <list_iterator at 0x1074fecf8>. То есть, запись:

''.join([i for i in x if not i.startswith('x')])

Сделает следующее:
1. Создаст генератор i for i in x if not i.startswith('x')
2. Создаст список из генератора выше
3. Создаст генератор из списка выше
4. Поджойнит его

А запись

''.join(i for i in x if not i.startswith('x'))

Сделает:
1. Создаст генератор i for i in x if not i.startswith('x')
2. Поджойнит его

А если ты не веришь, вот доказательство:

In [6]: def f(x):
   ...:     return ''.join([i for i in x if not x.startswith('f')])
   ...:     

In [7]: dis(f)
  2           0 LOAD_CONST               1 ('')
              2 LOAD_METHOD              0 (join)
              4 LOAD_CLOSURE             0 (x)
              6 BUILD_TUPLE              1
              8 LOAD_CONST               2 (<code object <listcomp> at 0x1037a3390, file "<ipython-input-6-830e9cc6380a>", line 2>)
             10 LOAD_CONST               3 ('f.<locals>.<listcomp>')
             12 MAKE_FUNCTION            8
             14 LOAD_DEREF               0 (x)
             16 GET_ITER
             18 CALL_FUNCTION            1
             20 CALL_METHOD              1
             22 RETURN_VALUE

Disassembly of <code object <listcomp> at 0x1037a3390, file "<ipython-input-6-830e9cc6380a>", line 2>:
  2           0 BUILD_LIST               0
              2 LOAD_FAST                0 (.0)
        >>    4 FOR_ITER                18 (to 24)
              6 STORE_FAST               1 (i)
              8 LOAD_DEREF               0 (x)
             10 LOAD_METHOD              0 (startswith)
             12 LOAD_CONST               0 ('f')
             14 CALL_METHOD              1
             16 POP_JUMP_IF_TRUE         4
             18 LOAD_FAST                1 (i)
             20 LIST_APPEND              2
             22 JUMP_ABSOLUTE            4
        >>   24 RETURN_VALUE

[JaxxDexx]

Roman Kitaev,

Я тут вдруг про тебя вспомнил.

Ну хоть кто-то обо мне вспоминает... Лол)))

А ты знаешь, что при итерации списка ВСЕГДА создаётся генератор по этому списку?

Что вы мне пытаетесь доказать? Какой вы умный и красивый?)

Сделает следующее:
1. Создаст генератор i for i in x if not i.startswith('x')

Ну как бы не просто так выражение [y for x in data for y in x] и называется генератором списков

На, вот вас ещё раз носом ткну:

>>> timeit("' '.join(w for w in 'My home is danger because my dog is monster'.split() if not w.startswith(('m', 'M')))")
2.534423131000011
>>> timeit("' '.join([w for w in 'My home is danger because my dog is monster'.split() if not w.startswith(('m', 'M'))])")
2.251883082000006

Ну и на последок, если вы у нас совсем одаренный:
https://stackoverflow.com/a/47792

Answer 2

[Евгений]

А почему вы не хотите создать новый список?

a = "Мой дядя самых честных правил, Когда не в шутку занемог, \
    Он уважать себя заставил И лучше выдумать не мог"
res = [i for i in a.lower().split() if not i.startswith('м')]

Если нужно именно удалять то:

a = "Мой дядя самых честных правил, Когда не в шутку занемог, \
    Он уважать себя заставил И лучше выдумать не мог"
a = a.lower().split()
i = 0
while i < len(a):
  if a[i].startswith('м'):
    del a[i]
    continue
  i += 1

Answer 3

[Вадим Шаталов]

result = ' '.join(filter(lambda w: w[0] not in ["М", "м"], a.split()))

Comments

[JaxxDexx]

Ваше решение получше моего будет :)

[Roman K]

JaxxDexx, вообще-то нет, вывернутые наизнанку filter и map без каррирования в питоне ужасны. Списковые включения получше будут. К тому же, startswith эффективней, чем взятие первого элемента и вот эта уродливая конструкция ["М", "м"]

[Евгений]

Roman Kitaev,

К тому же, startswith эффективней, чем взятие первого элемента

можно по-подробней почему это так?

[JaxxDexx]

Roman Kitaev, я имел ввиду по скорости

>>> timeit("' '.join(filter(lambda w: w[0] not in ['M', 'm'], 'My home is danger because my dog is monster'.split()))")
1.630474044107193
>>> timeit("' '.join(filter(lambda w: not w.startswith(('M', 'm')), 'My home is danger because my dog is monster'.split()))")
2.3275212185005216
>>> timeit("' '.join([w for w in 'My home is danger because my dog is monster'.split() if not w.startswith(('m', 'M'))])")
1.7293634102704232

[aRegius]

JaxxDexx, Для меня, например, Python - это, в первую очередь, читаемость, ясность и простота. А скорость это так ... седьмая вода на киселе )

[aRegius]

Евгений, Ну, как минимум, это куда как более элегантное, читаемое решение. Согласитесь (чуть более контрастный пример):

>>> filename = 'spam.txt'
>>> filename[-4:] == '.txt'
True
>>> filename.endswith('.txt')
True

[JaxxDexx]

aRegius, я по разному, в зависимости от задачи. Иногда требуется из питона помаксимуму выжать)

[aRegius]

JaxxDexx, Ну, если надо - то надо, понимаю )

[Евгений]

aRegius, я не понял почему вызов метода будет эффективней доступа по индексу, а против читаемости я ничего против не имею