dmshar

В Pandas все еще проще:
df.drop_duplicates(["mycolumn"])

А у вас есть тысяч десять ПАР картинок одной и той-же местности с облаками и без, что-бы на них обучить свою нейросеть?

Если есть - далее все тривиально - нейросеть типа автоенкодер-декодер. На вход картинку с облаком, на выходе сравниваем с той-же местностью без облаков. Сеть обучается на вашей десятке тысяч пар.
На обученную таким образом сетку подаем новые картинки и надеемся, что она сумеет с ними справиться.

Если такого набора нет - тогда начинаем с того, что читаем книжки и разбираемся как вообще нейросети работают.

P.S. Не надо 10 тыс фото "одной и той-же местности". Надо 10 тыс ПАР, каждая пара представляет свою местность, но в паре - одна фото с облаками, а другая - без. Все-таки советую для лучшего понимая начать с изучения принципов работы нейросети.
Но если такой датасет пар есть - сеть автоенкодер-автодекодер должна вам помочь.

P.P.S. Подумав - еще одно дополнение. Лучше, конечно, не пары фото, а для КАЖДОЙ местности - одно фото без облаков и несколько фото с разными облаками.
И еще - фото одной и той-же местности, сделанной с большим временным интервалом (два-три месяца) использоваться не могут. Времена года, изменения застроек и пр, сильно зашумлят результат.

Не надо вам пока изучать ИСКУССТВЕННЫЙ интеллект.
Пока надо сосредоточиться на развитии ЕСТЕСТВЕННОГО интеллекта и освоить умение самостоятельно гууглить ответы на свои ЭЛЕМЕНТАРНЫЕ вопросы, тем более что ответов на него - уйма. Даже на этом самом форуме.
Без такого умения изучение чего бы то ни было в области информационных технологий - пустая трата времени.

Вы ошиблись. Тут сайт ПОМОЩИ для тех, кто что-то решает сам и у него что-то не получается. Или что-то непонятно. Всяко бывает.
Сайт решения задач ВМЕСТО вас гуглится по слову "Фриланс".

https://sovzond.ru/press-center/articles/ers/5823/

Короче говоря, какое вложение больше всего окупится для мозгов и навыков программирования?

"Для мозгов" СЕЙЧАС для вас в первую очередь окупится нормальное завершение школы и поступление в нормальный ВУЗ.
Во вторую - вложение в английский, что бы потом не краснеть, дописывая к каждому своему сообщению приметочку, что надо бы что-то по русски, а то как-то не так.

"Для навыков программирования"- на данном этапе - совет "изучать все, что интересно" - самый разумный. А конкретики и неинтересного но нужного - вам хватит, когда будете учится в универе.

А вообще-то я уже писал лично свое мнение.Хотите быть именно проф.разработчиком-программистом - начинаем с С++. Думаете быть специалистом в чем-то другом с навыками программирования - начинаем с Python.

https://habr.com/ru/post/504744/
https://towardsdatascience.com/text-classification...
https://ai-news.ru/2020/05/prakticheskaya_klassifi...
https://ataspinar.wordpress.com/2015/11/16/text-cl...
https://towardsdatascience.com/document-classifica...
https://towardsdatascience.com/text-classification...
https://towardsdatascience.com/nlp-classification-...
https://towardsdatascience.com/https-medium-com-pi...

Если надо "находить и удалять" одновременно, то делать это МОЖНО только с конца списка

a='a abc ccc cvv v'
b=a.split()
c=[]
for i in b[::-1]:
    if len(i)>=3 and len(i)<=5:
        c.append(i)
        b.remove(i)
print ( c)
print (b)

Результат

['cvv', 'ccc', 'abc']
['a', 'v']

Если очень хочется - потом можно сделать реверс

c.reverse()
print ( c)

['cvv', 'ccc', 'abc']

А чего вы нас тут спрашиваете? Мы ведь не видели вашего приложения. Мы не знаем вашей квалификации. И мы не знаем, на сколько можно доверять совету вашего знакомого. По хорошему, если он дал вам совет, то скорее всего его обосновал - почему это решение не рационально (вообще? или для вашего конкретного случая?). Вот эти его обоснования уже могут быть предметом обсуждения - на сколько они профессиональны, компетентны и на сколько они соответствуют тенденциям в современном "приложениестронии".
А пока абстрактное приложение, абстрактный разработчик, абстрактные условия, абстрактные умозаключения - обсуждать-то нечего.

Что-то немного не сходится. Проведя ресемплинг мы получаем эмпирическую функцию распределения (например) среднего значения. Для этого распределения (а не для распределения исходной выборки) мы можем строить доверительный интервал, т.е. такие пределы, в которых (условно) в 95 случаях из ста попадет среднее нашей выборки.
Т.е. реальное среднее реальной выборки или матожидание генеральной совокупности вполне может и не попасть в этот доверительный интервал, но вероятность этого меньше 5%. Причем такое заключение мы сделали исключительно на основе имеющихся данных. Если вдруг у нас появятся дополнительные данные из той-же генеральной совокупности, то вполне возможно, что наше заключение придется корректировать.
Главное понять: статистика - это не об уверенности. Никогда! Статистика это на самом деле о вероятности ошибиться в своей уверенности.
P.S. Все таки загляните в книгу, которую я вам порекомендовал в другом месте.