Возможен ли парсинг на GPU?

Question

[beduin01]

Есть парсер, который обрабатывает миллионы записей. Просадка идет на 80% по процессору. Остальное я так думаю IO. Возможно ли текстовую информацию обрабатывать на GPU. Мне хотелось бы иметь несколько сотен или даже тысяч ядер.

Подобные задачи вообще на GPU решаются?

Comments

[TheAthlete]

А что делает парсер (например, парсит html/csv) и на чем написан?

Answer 1

[Dmitry Roo]

Определенно, возможен.
Вот например: https://github.com/antonmks/nvParse

Answer 2

[xmoonlight]

Начните отсюда.

Просадка идет на 80% по процессору

считывайте данные крупными блоками и обрабатывайте в асинхронном мультипоточном режиме.

Answer 3

[Сергей Горностаев]

Для начала надо найти, что именно потребляет процессор и выяснить поддаётся ли оно векторизации. GPU - не волшебная палочка, не всё может.

Answer 4

[Армянское Радио]

Очень зависит от задачи, вероятно нет, потому что парсинг обрабатывает данные одномерно и часто возвращается назад. Кроме того, это задача с низкой локальностью данных, а значит, много времени будет уходить на пересылки.

GPU быстро работает тогда, когда нужно перемолоть много данных с минимумом ветвелений. Парсинг этому противоположен по структуре алгоритма.

Answer 5

[profesor08]

Попробуй Nvidia Cuda, позволяет решать задачки на гпу, и ты вполне сможешь что-то распарсить.

Answer 6

[АртемЪ]

Теоретически можно. Практически маловероятно.
GPU дает хорошую вычислительную мощность, и с распаралеливанием задач при парсинге проблем нет, но надо понимать что GPU это узкоспециализированный процессор, выполняющий определенный тип вычислений.

В общем все зависит от того что за данные вы парсите, но мне трудно представить такие данные которые можно успешно считать на ГПУ.

Начинать надо с распараллеливания и оптимизации на стандартных процессорах, а уж потом, выявив участки которые можно перенести на ГПУ, думать о том как их перенести и будет ли смысл.

Мне хотелось бы иметь несколько сотен или даже тысяч ядер.

Попробуйте распределенные вычисления.