Поисковый робот при помощи JavaScript возможен?

Question

[habrdima]

хочу узнать может ли браузер достать информацию с сайта не открывая его в вкладке, не отображая сайт, а записывать информацию например куда нибудь внутрь, а JavaScript бы обработал ее и записал бы информацию в вкладку как нужно мне?

Answer 1

[Константин Китманов]

Можно — в виде расширения для браузера.

Answer 2

[Kano]

Конечно нет.
Скрипт выполняющися на стороне клиента имеет жесткие ограничения касающиеся доступа к содержимому загруженного с отличного от текущего домена.

Comments

[Сергей Протько]

CORS

[Сергей Протько]

Либо я вас не понял. Если скрипт-краулер выполняется на клиенте то никакой проблемы нет. Сделать эдакий бот-нет... и краулить... можно через экстеншены для хромов всяких.

[Kano]

Сергей Протько: в вопрсе четко написано про поисковый робот на клиентской стороне.

[Сергей Протько]

Kano: а ну тогда CORS на сервере (он же наш) или jsonp (есть еще варианты)... отправить данные с клиента на сервер на другой домен проблемы вообще не составляет, вспомните гугл аналитику.

[Kano]

Сергей Протько: Это уже не "поисковый робот при помощи JavaScript", хотя серверная сторона будет на js тогда формально это ответ на вопрос.

[Сергей Протько]

Kano: почему же? Краулер который индексирует сайты на которые ходят люди) чем человек не краулер? Забрать в бэкграунде пачку страниц, распарсить и отдать на сервак оно может. Другое дело что это как-то тупо.

[Kano]

Сергей Протько: максимум что можно сделать это написать расширение доя хрома и фф и то в этом случае при установке расширения пользователь будет предупрежден о том что данное расширение будет иметь доступ до всех интернет ресурсов. Такое поведение мало кому понравится, особенно тем кто эти расширения одабривают.

[habrdima]

Kano: я хочу что бы к примеру зайдя на страницу, расширение само нажало бы на внутренние ссылки, но не открывало бы новую страницу, а записало бы информацию от туда внутрь, и то что мне нужно записало бы куда нибуть, какая разница браузеру, показать информацию с ссылки или нет, главное получить ее, это возможно? если да, то что изучать в расширениях в хроме?

[Kano]

Получить все ссылки со страницы дело 5 секунд, загрузить контент по этим ссылкам через XMLHttpRequest (https://developer.chrome.com/extensions/xhr) и не забыть прописать в манифесте необходимое разрешение
"permissions": [
"http://*/*"
]
Ну отправить это дело куданибудь к себе на сервер, можно после предварительной обработки на клиенте
Вот пример расширения https://developer.chrome.com/extensions/xhr

[habrdima]

Kano: возник вопрос, получил информацию используя XMLHttpRequest, но мне нужно что бы все скрипты с сайта работали как на странице, мне нужно создать псевдовкладку внутри браузера, это возможно?

[Kano]

habrdima: можно грузить их в туже страницу только в скрытые специально созданные iframe, но некоторые страницы защищены от загрузки в iframe

Answer 3

[keslo]

Видимо одним JS не обойтись если не делать на NodeJS.

Comments

[habrdima]

работает ли NodeJS только в браузере, он же вроде для сервера предназначен?

[Kano]

О чем вы вообще? Какие еще клиентские скрипты? Nodejs предназначен для выполнения js в пределах ос без участия проводников интернета. Если проще то делает из js исполняемую программу.