SovGVD

может для каждой добавляемой новости делать хеш (от урла или всего текста или заголовка) и пихать его в поле, которое указанно как уникальное — тогда дубликаты будет отсеивать сама субд