Предлагаю в эту пятницу немного порассуждать.
Имеется сайт S, он устроен таким образом, что показывает другие сайты через себя (что-то вроде фрейма).
Так же имеется поисковая система G, боты которой ходят по сайту S и индексируют контент.
Как видно тепм интексации увеличивается.
С каждой просканированной страницей сайт S становится все больше, представьте себе дерево(подразумевается разветвление). Но об этом знает только поисковая система G, т.к. показываемый контент не пренадлежит сайту S и нигде им не сохраняется.
Индексируются не все страницы т.к. по техническим причинам они могут не открываться, их процент составляет примерно 0.5% и выдается 404 или 500 http статус.
Индексированный контент добавляется в поиковую выдачу. Соотношение просканированных страниц и добавленных в индекс примерно 50/50. За 4 месяца работы сайта S просканированно 500к страниц.
Так же имеются сайты, которые отображает сайт S, назовем их ABC, их количество ограничено количеством сайтов в интернете. Помните про дерево?
Т.к. контент, который выдает сайт S является копией сайтов ABC, поисковая система G постепенно находит дубликаты и скрывает их в поиковой выдаче. Их процент неизвестен, скрываются не все страницы.
Теперь вопрос: интересно дальнейшее развитие сайта S. Не стесняйтесь, высказывайте ваши предположения :)
Простой
Средний
Средний
