Как быстро обработать большой массив данных?

Question

[Шамуэй]

Мне нужно получить через api vk 100 постов в группе, всё к ним комментарии,всёх учасников группы и их 10 постов и проверить всё посты и комментарии на наличие ключевого слова.
Можно как то на php засунуть запросы к api в поток, а потом и парсеры чтобы хотя бы работало одновременно 2 парсера?
PS я понимаю что php для этого не подходит, но демку мне нужно написать именно на нём.

Answer 1

[sim3x]

Пихай в БД
Ищи через СУБД

Comments

[Шамуэй]

Тогда еще такой вопрос как будет быстрее записать всё данные сразу в бд или сначала удалить не нужные поляБ а потом записать?

[sim3x]

Хомон: ненужное НЕ записывать

Answer 2

[ThunderCat]

Сохранить результат в хранилище (что будет самой долгой операцией на самом деле), далее поиск по строке, не должно сильно тормозить, поиск в строке по четко известному слову это быстрая операция, на вытаскивание через апи скорее всего в разы больше времени уйдет. Думаю получить из апи и сразу парсить быстрее даже будет, при использовании multicurl можно запустить потоки параллельно.