Как правильно проверять, была ли уже спарсена информация?

Question

[j n]

Допустим, есть список статей. У статьи есть заголовок и дата.
При первоначальном парсинге в базу добавляются вообще все статьи.
Затем при запуске скрипта в базу нужно добавлять только те статьи, которые ещё не были спарсены.

Вопрос: как правильно и как наиболее эффективно проверять, есть статья в базе или нет? За какой параметр цепляться? Или делать какой-то уникальный ID на основании каких-то данных?

Answer 1

[Dimonchik]

в общем случае

делать какой-то уникальный ID на основании каких-то данных?

, только гыгы, оно не поможет - вам то все равно нужно скачать чтобы сравнить

обычно на сайте у статей есть некий уникальный ИД, вот к нему и цепляйтесь