Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?

Question

[User .]

Добрый день,

подскажите как я могу использовать мощность своей графической карты для поиска в текстовых файлах? Файлов очень много, поиск требуется осуществлять максимально быстро.

Comments

[Александр]

Разве GPU не заточена под работу с числами?

Answer 1

[Saboteur]

А вы уверены, что проблема именно в CPU, а не в скорости считывания файла с диска?
Особенно учитывая, что файлов очень много?

GPU достаточно специфичная вещь, смысл ее применять для подобной операции не слишком виден.

Comments

[User .]

Стоит хороший ssd и мощный процессор, при поиске проц загружается практически полностью..

Еще добавлю... если это все запихнуть в базу? смысл от этого я так понимаю не изменится?

[АртемЪ]

JavaUser Spring,

проц загружается практически полностью

А памяти у вас сколько?
Проц может быть занят банальными операциями с памятью и с файлами.
Видеокарта не может помочь ни с манипуляциями памятью, ни в операциях с файлами.

[Saboteur]

JavaUser Spring, Зависит от того, что ищете. В базе можно построить индексы.

Answer 2

[АртемЪ]

Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?

Задействовать конечно можно.
Только что именно GPU будет делать???
GPU умеет считать сразу сотни процессоров одновременно будут щелкать как орешки операции с плавающей запятой, и все. кроме этого она ничего не умеет делать.
А что конкретно вам считать надо?

У вас вроде поиск в файлах - там вычислений практически нет. Считать нечего.

Файлов очень много, поиск требуется осуществлять максимально быстро.

Значит нужно строить индекс.

Comments

[User .]

Если это все запихнуть в базу? смысл от этого я так понимаю не изменится?

[АртемЪ]

JavaUser Spring, Смысл не изменится.
Только вот в базе индесирование делается проще штатными методами - по индексу у вас будет быстрый поиск.

А без базы вам придется либо искать медленно и печально, либо думать какими средствами сделать индекс.

Answer 3

[Adamos]

поиск требуется осуществлять максимально быстро

Это делается индексированием файлов (один раз) и поиском по индексу, а не по файлам. Яндекс как-то даже делал десктопное приложение, которое такой поиск реализовало. Хотя в Виндах, начиная с ХР, теоретически есть встроенный.

Answer 4

[pfg21]

найти/сделать алгоритм текстового поиска с использованием GPU и применить в своих задачах.
не уверен что найдешь, ибо GPU ориентирован на несколько другие задачи (более математические).
но спробуй.

Answer 5

[vlarkanov]

Мне кажется, дело упирается в I/O, а не проц. А чтобы это точно узнать, снимите метрики нагрузки проца, памяти, процент использование дисков (не объема, конечно, а того, что в atop зовётся busy)

Answer 6

[Сергей Карбивничий]

Локальный поисковик
- Как раз то, что вам нужно.

Answer 7

[SVM]

Recoll

Answer 8

[Дмитрий Александров]

GPU никак не заюзать для этой задачи. Но сделать очень быстро можно если есть руки и голова и следующее:
1) Экстремально быстрый диск, еще лучше если это будет ram диск в очень быстрой оперативке
2) многоядерный проц.
3) софт в котором крайне понимающие люди учли все затыки, переключения контекстов между ядрами, число обращений к ненужным api системы, нашли самый быстрый вариант поиска совпадений(регулярка или условия) и много других тонкостей.

В вашем случае затык в 99% будет уже просто на этапе накопителя т.к. он врядли обеспечит такую скорость чтобы утилизировать проц даже средний и даже со средней паршивости программой.