Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?

Добрый день,

подскажите как я могу использовать мощность своей графической карты для поиска в текстовых файлах? Файлов очень много, поиск требуется осуществлять максимально быстро.
  • Вопрос задан
  • 232 просмотра
Пригласить эксперта
Ответы на вопрос 8
saboteur_kiev
@saboteur_kiev Куратор тега Linux
software engineer
А вы уверены, что проблема именно в CPU, а не в скорости считывания файла с диска?
Особенно учитывая, что файлов очень много?

GPU достаточно специфичная вещь, смысл ее применять для подобной операции не слишком виден.
Ответ написан
Jump
@Jump Куратор тега Windows
Системный администратор со стажем.
Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?
Задействовать конечно можно.
Только что именно GPU будет делать???
GPU умеет считать сразу сотни процессоров одновременно будут щелкать как орешки операции с плавающей запятой, и все. кроме этого она ничего не умеет делать.
А что конкретно вам считать надо?

У вас вроде поиск в файлах - там вычислений практически нет. Считать нечего.

Файлов очень много, поиск требуется осуществлять максимально быстро.
Значит нужно строить индекс.
Ответ написан
Adamos
@Adamos
поиск требуется осуществлять максимально быстро

Это делается индексированием файлов (один раз) и поиском по индексу, а не по файлам. Яндекс как-то даже делал десктопное приложение, которое такой поиск реализовало. Хотя в Виндах, начиная с ХР, теоретически есть встроенный.
Ответ написан
@pfg21
ex-турист
найти/сделать алгоритм текстового поиска с использованием GPU и применить в своих задачах.
не уверен что найдешь, ибо GPU ориентирован на несколько другие задачи (более математические).
но спробуй.
Ответ написан
@vlarkanov
Мне кажется, дело упирается в I/O, а не проц. А чтобы это точно узнать, снимите метрики нагрузки проца, памяти, процент использование дисков (не объема, конечно, а того, что в atop зовётся busy)
Ответ написан
hottabxp
@hottabxp
Сначала мы жили бедно, а потом нас обокрали..
Локальный поисковик
- Как раз то, что вам нужно.
Ответ написан
jamakasi666
@jamakasi666 Куратор тега Linux
Просто IT'шник.
GPU никак не заюзать для этой задачи. Но сделать очень быстро можно если есть руки и голова и следующее:
1) Экстремально быстрый диск, еще лучше если это будет ram диск в очень быстрой оперативке
2) многоядерный проц.
3) софт в котором крайне понимающие люди учли все затыки, переключения контекстов между ядрами, число обращений к ненужным api системы, нашли самый быстрый вариант поиска совпадений(регулярка или условия) и много других тонкостей.

В вашем случае затык в 99% будет уже просто на этапе накопителя т.к. он врядли обеспечит такую скорость чтобы утилизировать проц даже средний и даже со средней паршивости программой.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
09 мая 2021, в 09:26
30000 руб./за проект
09 мая 2021, в 08:58
3000 руб./за проект
09 мая 2021, в 07:57
1000 руб./за проект