Максим Припадчев

1. Если в колонке сборник (строки, числа, пропущенные значения). То это тип 'object'. Что означает python object что в свою очередь надо понимать буквально, массив состоит из python объектов.

2. Операция сравнения двух объектов, не является однозначно трактованной операцией, в том числе и по этому в python существуют дандер методы которые позволяют переопределять операторы сравнения (вложить свой смысл что именно ты подразумеваешь по сравнением). Это я к тому что ты должен четко понимать что значит равны.

pandas объекты поддерживают сравнение в его собственной интерпретации и поведении. Если этого достаточно
то, все элементарно. Если сравнение используется для фильтра то такие колонки не хранят.

df = pd.DataFrame({
    'A':[1,'a',2],
    'B':[1,'a',3]
})

df.loc[df['A'] == df['B']]

Колонкам не обязательно быть из одного и того же фрейма, лишь бы размерность совпадала.
Если же нужно особое понимание сравнения. То пишется функция которая принимает два массива на вход и возвращает массив булевых значений, затем этот массив используется в качестве маски, для осуществления выборки.

Окей я не слежу за LLM от яндекса. https://github.com/yandex/YaLM-100B этому 2 года и там 100B или здесь
https://huggingface.co/yandex тоже самое. YALM-4 вообще не слышал, и уж точно не поверю, что яндекс использует сегодня модель с 1.4B параметров.

Думаю простого способа нет в силу особенностей дизайна. Объект экземпляра класса, как и объект класса, оба имеют полный доступ к пространству имен объекта класса. По этому думаю решение довольно сложное и того не стоит.

Что бы не использовать готовое, а делать свое.

1. Сильные математические знания, которые позволят читать научные стать или хотя бы подходящую литературу, по RL например Reinforcement Learning, second edition An Introduction by Richard S. Sutton and Andrew G. Barto. Это главная базовая литература.

2. Сильные скилы в программировании определенные алгоритмы очень сложны.

3. Очень много времени.

4. Вычислительные мощности.

В легких для чтения статьях рассматриваются, отдельные компоненты, и их применения, а не ИИ с нуля.

1. google colab
2. kaggle.

Задачка не маленькая, и попыток ее решить ты не предоставил. Есть вот так вот - хочу вот так вот, и все.
Могу посоветовать книга Fluent Python глава 22 Dynamic Attributes and Properties.
В ней как раз на примере вложенного json объяснено предельно подробно, как решать подобные задачи.

Python не позволяет работать с памятью напрямую. Очистка происходит сборщиком мусора, когда количество ссылок на объект равно нулю. Например когда ты используешь del ты удаляешь ссылку на объект, то есть счетчик ссылок - 1. и когда он равен нулю, то произойдет полное удаление объекта из памяти.

Что касается работы со стримом данных то его делят на части и процессируют по частям. Пишут в базу, сохраняют в файл, и т.д. Переработал часть, сохранил, удалил, приступил к следующей и т.д.

1. Определить для себя что ты понимаешь под похожестью. В комментарии верное подмечено.
2. Закодировать изображения в тензорное представления.
3. Сравнивать дистанции между двумя тензорами евклидова дистанция, cosine similarity и т.д.

Сейчас даже базы есть, я такую использовал в проекте недавно (chroma db), которые оптимизируют поиск ближайшей дистанции по изображениям / текстам. То есть пишешь запрос входной эмбединг а он тебе выдает запись с наименьшей дистанцией, к данному эмбедингу.

Ну поработай с индексом да и все.
Самое примитивное

def __getitem__(self, index):
        try:
            return self.data[-(index+1)]
        except IndexError:
            return None

Оставить на денек, другой SpeechRecognition в покое, и познакомится с концепцией виртуального окружения.