Maxwi, примерно поймите, что вы делать собираетесь, какие сети и для чего использовать, на каких данных и так далее. Когда поймёте это — попробуйте запустить на CPU, потом на GPU, сравните и легко будет принять решение :)
Сумма, которую вы назвали, достаточна для покупки неплохой видеокарты.
Игорь, могу сказать, что книга прекрасная, а Moskus излишне придирается. Мне она очень помогла лучше понять как работают компьютеры, даже несмотря на такие неточности в начале, которые нужны, чтобы человек сколь угодно далёкий от темы, смог понять основную тему книги.
Если небольшое, то проще всего на дескрипторах, да. Из них вы получаете векторное описание картинки, а потом его уже сравниваете с имеющимися картинками, тут обычно применяют косинусное расстояние или L2 меру.
Если вам тяжело воспринимать материал такой сложности, как в этом видео, то у вас пробелы в знаниях по школьной математике. Нужно сначала их компенсировать, а потом уже браться за алгоритмы, конкретно про индукцию могу порекомендовать вот эту методичку: https://mccme.ru/free-books/shen/shen-induction.pdf
Ни разу не встречал подробную документацию по коду и актуальные комменты. В какой отрасли вы работаете, если не секрет?