Как пропарсить сторонний сайт?

Question

[Николай Ерофеев]

Добрый вечер. Есть мобильное приложение. Надо добавить новую рубрику с новостями, который должен подгружать с сайта. Как можно пропарсить сайт c помощью javascript?

Answer 1

[Archakov Dennis]

Можно и с JS. Если руки не кривые. В общем, я делал так.

P.S: Предупреждаю, это метод для тех, кто не хочет юзать сторонние плагины и т.п.

1. Создай PHP скрипт с таким содержанием:
<?php echo file_get_contents($_GET['url']); ?>
2. Далее отправляй запрос на свой скрипт такого вида:

$.get('/script.php?url=http://site.ru',function(data){ 
  //юзай data
 });

3. Радуйся!

Comments

[Николай Ерофеев]

Не плохое решение, но та же ошибка. XMLHttpRequest cannot load. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'null' is therefore not allowed access.

[Archakov Dennis]

Николай Ерофеев: Поверьте, такое не может быть. Ваш PHP скрипт должен обработать, этот способ работает на 100% я так обходил ВК. Покажите код.

[Николай Ерофеев]

Ingush Archakov: сам исходник приложения у меня на пк. там чисто html,css,js. Обработчик php на серваке. У себя на пк, локально написал
$.get('http://cite.com/parser.php?url=ссылка',function(data){
alert(data);
});
и все, не хочет подгружать

Answer 2

[Андрей]

Если у него мобильное приложение - то лучше поднять свой бекэнд и оттуда уже дергать инфу. И уже с бекэнда парсить нужные ресурсы.

Answer 3

[Александр Зонов]

Не нужно этого делать средствами клиентского js.
Во-первых, вы столкнетесь с ограничением запросов к стороннему сайту. Нельзя делать запросы к доменам отличным от того домена, с которого был загружен скрипт. Даже если есть способы обойти это ограничение, то в этом нет никакого практического смысла.
Во-вторых, такая реализация не позволила бы делать запрос, например, раз в сутки и быстро раздавать закешированный результат всем посетителям.

Дергайте нужный сайт с бекенда, сохраняйте в подходящем формате и подгружайте на странцу любым удобным вам образом.

Comments

[Николай Ерофеев]

да можно, но приложение уже написано на кордове. Бекендом там и не пахнет

[Александр Зонов]

Посмотрите вот это https://github.com/pyrsmk/qwest и копайте в сторону xhr2 www.html5rocks.com/en/tutorials/file/xhr2