Как обойти Unexpected token < при скрапинге сайта?
Есть сайт, который всячески сопротивляется скрапингу. Если в браузере страница отображается нормально, то при попытке получить ее с помощью модуля nodejs request выводится страница с правилами внутренней политики; установка user-agent и accept не помогла. Как вариант решил использовать ajax с jsonp. Но не получилось - постоянно вылетает Uncaught SyntaxError: Unexpected token <. Кто может подсказать, каким образом можно всё таки получить нужные данные с сайта?
FireGM: отдает он и правда html. Но отсылать запрос jsonp я просто вынужден, потому что в противном случае ajax добавляет в header поле Origin, из-за чего я не получаю ответ вообще
Sungmaster:
Это CORS. html браузер вам получить не даст из-за No 'Access-Control-Allow-Origin' header is present on the requested resource. А с типами jsonp или script вернет "Unexpected token <", т.к. ожидает получить js и пробует его выполнить.
