Как лучше реализовать проверку на новые URL?

Question

[alst161]

Есть новостной сайт. Надо сделать парсер, который будет проверять каждые например 5 минут на новые новости и добавлять если такие имеются. Новости выводятся с разной периодичностью. Как правильно реализовать проверку на новые? Будем проверять по странице где выводятся последние новости кратко. Был вариант хранить старые ссылки на новости и по ним уже сверять. Но не хочется постоянно тревожить базу.

Answer 1

[uvelichitel]

Если не в DB то в памяти. Если в памяти то лучше не в slice, а в map имеющей константное время доступа против линейного у slice.

var Urls = make(map[string]struct{}) //самая компактная реализация множества.

func IsNew(url string) bool{
	if _, ok:=Urls(path.Base(url)); ok{ //зачем вам весь url. Берите только базу, это компактней и исключит рерайты
		return false
	}else{
	  /*тривиальная реализация кэша
	  if PresentInDb(url){    //посмотреть в базе
			if len(Urls)>Limit{  //подчистить кэш
				for k,v:=range Urls{
					delete(Urls, k)
					break
				}
			}
			Urls(path.Base(url))=struct{}{}  //подновить кэш
			return false
		}else{
		можно раскомментировать*/
		Urls(path.Base(url))=struct{}{}
		return true
	}
}

Answer 2

[index0h]

Для начала перепроверьте, что у целевого сайта нет RSS ленты. Если есть - лучше воспользуйтесь ей.

Как правильно реализовать проверку на новые?

Вытянув контент новости берите от него хэш. Если с таким хэшем уже что-то есть - новость старая. Если с таким заголовком новость уже есть И разница между контентом маленькая - контент статьи обновился, если же разница высокая - это новая статья, но с уже существующим заголовком.

Сам парсер я бы вам рекомендовал делать на phantomjs

Comments

[hoarywolf]

А вот я бы не рекомендовал phantomjs без крайней нужды, если можно скачать curl-ом, потому что фантом сильно медленнее, ему нужно гораздо больше ресурсов и загружает он не только html-страницу, но и все файлы стилей, скриптов, выполняет их, ajax-ы и тд.

[alst161]

да вы вообще не о том) парсер пишу на GO. не зря я его тег указал. index0h зачем мне брать контент новости? мне не надо проверять её на изменения. у меня грубо говоря после каждой проверки страницы с краткими новостями есть 20 урл, на полные новости, урл уникальные, по ним и можно сверять. просто я не хочу их хранить в базе и каждый сверять с базой. как вариант думал при первом запуске сверить по бд и записать в массив все урл, а потом на каждой новой проверке по массиву проверять. это на много проще и быстрее. но я задал вопрос что бы подсказали, может есть решение получше

[Илья]

hoarywolf: да ладно, ведь человек спросил про проверку на новые новости, надо сразу советовать phantomjs, nodejs и docker.

[index0h]

hoarywolf
Зря вы так. Парсер все равно запускать в один поток запускать смысла нет. В случае SPA - curl в принципе не справится.

Что касается излишних загрузок - их можно отключить.

[hoarywolf]

index0h: тем более, если не в один поток. Все это проходили и SPA в том числе. Делал парсер для Pinterest-a, там постоянная подгрузка новых данных при прокрутке страницы, нужно было скачать все, в какой-то момент Phantonjs охреневал от объема отображаемых данных, начинал дико тормозить, а потом и вообще вываливался. Посидел пару часиков, посмотрел какие ajax-ы дергаются при прокрутке страницы и переписал все на Curl, вызывая эти ajax-ы. Производительность выросла на порядок, нагрузка на машину, где это крутилось упала порядка на три.

[index0h]

alst161
> Как правильно реализовать проверку на новые?
> index0h зачем мне брать контент новости?
Вам нужен контент новости, что бы проверить, а новая ли она, ваш К.О.

> просто я не хочу их хранить в базе и каждый сверять с базой.
Урлы имеют очень неприятные свойства: меняться и протухать. Так что я бы на них не очень ориентировался. В случае репостов: у вас есть N копий одной и той же новости, слегка измененных под абсолютно разными урлами.

> как вариант думал при первом запуске сверить по бд и записать в массив все урл, а потом на каждой новой проверке по массиву проверять.
Если источников данных будет много - основной вашей проблемой будет не скорость обработки, а сетевая составляющая, которую можно решить горизонтальным масштабированием. При этом БД будет точкой синхронизации. Рано, или поздно узким горлышком станет уже БД, потребуется синк через что-то более быстрое, redis например.

FireGM
> да ладно, ведь человек спросил про проверку на новые новости, надо сразу советовать phantomjs, nodejs и docker.
Если бы автор спросил: мне нужны все новые урлы - ему бы такая фигня возможно подошла: stackoverflow.com/questions/2804467/spider-a-websi...
Но он спросил про новые новости, а "новость", как правило - это некий текстовый контент и определить новый ли он можно за счет разницы с уже существующими.