dmshar

Если у вас данные во второй файл не поступают динимачечски, то разумнее его отсортировать один раз по ip и так хранить. Возможно - сразу-же и отсортировать. А в случае необходимости - просто извлекать нужные записи из уже отсортированного файла.
Это можно сделать в Python "в ручную", но проще - через pandas. Т.е. читаете файл в DataFrame, группируете (group by), сортируете и получившийся DataFrame сбрасываете на диск. Далее - по мере необходимости - работаете с уже отсортированным файлом (или DataFrame - в зависимости от того, что за задача).

Если же у вас данные поступают динамически, причем динамически изменяется и первый и второй файл (т.е. второй файл просто постоянно накапливает новую информацию, а первый - это по сути запрос пользователя на поиск конкретных ip вовтором файле) - то ничего другого, как последовательного просмотр второго файла для каждого вновь заданного ip придумать сложно.

Массивы в Numpy реализованы почти так-же как и в С++ . Главное отличие - это всегда непрерывный в оперативной памяти участок однотипных данных. За счет этих двух фундаментальных свойств и соответственно - отсутствия соответствующих проверок и преобразований, операции над элементами массивов Numpy выполняются ощутимо быстрее, чем над списками, особенно при больших объемах хранимой информации. Недостатком массивов в Numpy есть неэффективное использования оперативной памяти в случаях, если реальных элементов массиве меньше, чем задекларированный размер массива.
Списки реализованы в виде несколько модифицированной ссылочной структуры С++. Точнее - память там выделяется блоками, доступ не прямо к элементу, а через систему ссылок и пр. Кроме того, списки это разнотипные элементы, более того - это возможно еще и списки списков или списки других составных типов данных. В общем, что-бы выполнить простую операцию, интерпретатору необходимо выполнить достаточно много проверок и переходов.
В последних версиях реализация списков сильно оптимизирована. Тем не менее, операции с его элементами остаются более медленными, чем над элементами массивов Numpy.
Наличие "множества полезных и удобных функций" - это уже производное от базовых отличий.

И что, вы выберете эти разделы и кинетесь именно их учить?
Ну вот вам ответили в соседнем ответе. И что? Только вот что-бы выучить ту же теорию оптимизации надо знать и классическую вышку, и линейную алгебру и много чего еще чего.
Математика - эта такая наука, которая не терпит растягивания на кусочки. Уж точно - на уровне школьной программы или программы инженерного универа.

Я обычно объясню необходимость изучения алгоритмов примерно так.
Представте, вы учитесь играть на музыкальном инструменте и хотите стать музыкантом.
Не тем, который "три аккорда - любая мелодия" а настоящим, классным исполнителем неважно чего - хоть Битлз, хоть Бетховена, хоть Моцарта - но именно классным.
Ежу понятно, как идти к этой цели.
- Сначала играем гаммы. Долго, упорно. до автоматизма.
- Потом играем этюды. Да это скучновато, да это точно не Битлз, да мелодия не ахти -но там есть тысячи пассажей и приемов, от простых к сложным. Вот их мы осваиваем, постепенно, повышая свое мастерство. Шаг за шагом, с каждым этюдом или с каждой адаптированной для новичков мелодией приобретаем навыки игры все более и более сложных "комбинаций нот".
- И только потом учимся играть "настоящую" музыку.
Попытки перескочить этот естественный путь развития приедет к тому, что "для себя" вы играть может быть и научитесь, но вот слушать вас толпы зрителей - вряд-ли согласятся добровольно.
Ничего не напоминает?

Гаммы -- синтаксис языка программирования и простейшие задачи из учебников. Даже если в этих учебниках есть примеры "как бы сложных" проектов - игр, решалок и пр. - это все равно с точки зрения профессионала не более, чем гаммы. И научившись этому кодировщиком вы станете, а вот алгоритмическое мышление развить - врят-ли.

Этюды -- вот это и есть алгоритмы. На самом деле этот курс надо рассматривать не как последовательое изучения предмета (как математика, физика, химия, история..) а как мастер-класс, в котором вам показывают, как подойти к задаче, с какой стороны ее проанализировать, как разложить на последовательность элементарных кирпичиков и как потом эти кирпичики сложить в стройную конструкцию. По сути вас учат алгоритмически думать, тренировать себя для того, что-бы потом, освоив эти навыки уметь самостоятельно "играть любую мелодию"=составлять любую программу от идеи до реализаци, и составлять ее так, что-бы она была по возможности эффективной, читабельной и масштабируемой.

Конечно, изложение выше - это некое упрощение, можно сказать краткое объяснение на пальцах для новичков. Но суть от этого не меняется. И алгоритмы - есть обязательное (одно из многих других, кстати!) условие превращения "кодировщика" в "разработчика", даже если этот разработчик никогда сам в жизни не будет писать алгоритм сортировки или обхода графа.
Вот как-то так.

df.drop_duplicates(subset=['Описание','Артикул'], keep="last")

Out[132]:
Описание Цена Артикул
1 бочка 300 1
3 стол 450 4

Не знаю, вы же нам ничего не рассказали ни о себе, ни о IDE, которую используете, ни о версии Python, ни об ошибках/сообщениях, которые получаете. Может у вас seaborn не установлен, магическая команда %matplotlib не верно задана или вы вообще в консоле работаете.
А ваш график - на рисунке (прямо скопировал ваш скрипт себе в редактор и запустил)

1. Если современные средства ИИ позволяют не то что монстров отслеживать, а куриц, перебегающих дорогу перед автомобилем объезжать, то ответ на вопрос "можно или нет отслеживать и манипулировать мышкой" - понятен и однозначен. Можно.
2. Возможно реализовать на чем угодно, и на С# и на Python, и на Java и на GO и на Julia.

Вот только рассчитывать на то, что вы это сделаете дома на коленке - что на Python, что на С - явно не стоит.

1. Сколько времени в день уделять линейной алгебре и как ее изучать самостоятельно?

Не важно, сколько времени уделять, важно - понимать (не запоминать конкретные факты, а именно понимать "что и почему").
Вот мнение (одно из многих) о том, что надо из математики:
https://habr.com/ru/post/432670/

Занимаюсь по Лутцу и решаю задачи на codewars и hackerrank. Достаточно ли этого?

Более чем. Но на самом деле, для Data Science понадобятся ОСНОВЫ Python плюс соответствующие библиотеки, в первую очередь Numpy, Matplotlib, Scipy, Pandas. Первую надо понять(!) до перехода к практическим задачам, последние три, а также Scikit-Learn и Tensorflow можно разбирать параллельно с собственно Data Science (точнее с Мachine Learning, потому что, например Data Engineering - это вообще отдельная тема).
Но! Надо понять, что Мachine Learning - это не программирование на Python (или любом другом языке программирования). Это отдельная наука. А все, что перечислено выше - только легкая "подводка" к теме.