Доступ к сайту по Javascript Coockie?

Question

[Илья Белобородов]

Как-то решил спарсить один новостной сайт, но не получилось, так как на этом сайте устанавливаются и проверяются куки с помощью js. Соответственно бот не может принять куки, которые устанавливаются средствами javascript и сайт просто не отдает страницу.

Вопрос: как поисковые боты индексируют такие сайты?

Comments

[Егор Живагин]

Видимо, никак )

[Илья Белобородов]

Егор Живагин: но этот сайт в поисковой выдачи, и это топовый сми в украине

[Егор Живагин]

Илья Белобородов: а можно ссылочку? Тоже попробовать интересно

[Илья Белобородов]

Егор Живагин: www.pravda.com.ua

Answer 1

[Максим Тимофеев]

ну так разделы доступные только после авторизации, как правило и не индексируются, зачем? Остальное поисковик кушает на ура.

Comments

[Илья Белобородов]

дело в том, что все индексируется

[Максим Тимофеев]

Илья Белобородов: верится с трудом. Можете дать ссылку на результат поиска, где ссылка на скрытый раздел?

[Илья Белобородов]

Максим Тимофеев: эта фича на всем сайте, в том числе и для главной www.pravda.com.ua

[Максим Тимофеев]

Илья Белобородов: хоть одну ссылку на проиндексированную страницу

[Илья Белобородов]

Максим Тимофеев: так я скинул выше - www.pravda.com.ua

[Максим Тимофеев]

Илья Белобородов: Эта страница доступна без авторизации, она отлично читается роботом и ее отображение не зависит от кукисов, а если есть зависящие части, то они не будут индексироваться.

[Илья Белобородов]

Максим Тимофеев: то что страница доступна без авторизации и она отлично читается роботом - я знаю. Но как вы определили, что отображение не зависит от кукисов? На глаз? Я целый парсер писал, и при парсинге меня посылали на юг из-за того, что у меня нужных куков небыло, при том, что куки парсер подставлял, чуть позже, я выяснил, что куки устанавливаются сайтом на стороне клиента