В этой задаче нужно периодически следить за появлением нового контента через sitemap или другими способами. То есть хранить в СУБД ссылки и, как только появляется новая ссылка, выполнять ее парсинг, а результаты сохранять в СУБД. Также необходимо периодически повторять парсинг тех же страниц для обновления контента.
Как делать парсинг сайтов - есть уйма руководств в интернете.