Теряются данные при использовании библиотеки requests Python, как исправить?

Question

[Eva05]

Привет!
Решил распарсить страницу "Friends" (список друзей) моего друга на Facebook. Когда нажимаю на Просмотр кода страницы , то могу увидеть имена его друзей,их id,адреса их страницы и тд



Когда же использую

import requests
url='https://www.facebook.com/gisachina/friends?pnref=lhc' (адрес страницы списка друзей моего друга)
response = requests.get(url)
response.text

Этих данных уже нет,ни имени,ни id,ничего о данных его друзей.
Я в web совсем недавно,подскажите пожалуйста как на Python можно вывести точно такую же информацию как и при использовании Просмотр кода страницы

Comments

[Сергей Зеленский]

вы просматриваете эти данные с авторизованой страницы?

[mukizu]

Сергей Зеленский: <- поддерживаю этого господина. Вы скорее всего авторизованы на сайте, а через requests запрашиваете как неавторизованный пользователь. Само собой ничего лишнего вы не видите.

[Eva05]

mukizu: Простите,если я понимаю то следует добавить в запрос auth={user='user',password='password'}?

[Eva05]

Сергей Зеленский: Ну на FB конечно,но в коде ничего не указывал,ни user ни password.

[Сергей Зеленский]

нужно отправить post-запрос с паролем и логином, но я подозреваю что там еще должен быть csrf-токен

[Eva05]

Сергей Зеленский: Если csrf присутствует, есть ли инструменты,которые помогут работать с этим?

[Дмитрий]

Eva05: Вам нужно авторизоваться и сохранить куки.(и не нужно пихать логин пароль в пост) А потом уже с этими куками идти туда. Почему-бы не использовать их api ?

[mukizu]

Eva05: Я никогда с FB не работал, так что не буду тыкать пальцем в небо. Суть так или иначе в том, что вам сначала надо пройти авторизацию. Очевидно это можно сделать разными способами. Сильно сомневаюсь, что простая подстановка auth={user='user',password='password'} вообще что-то даст.

Answer 1

[Алексей Черемисин]

У вас не получается по следующим причинам:
1) Данные подгружаются через ajax
2) Данные подгружаются только после авторизации
3) Нужно использовать API facebook
4) А для этого нужно зарегистрировать свое приложение https://dev.facebook.com

Comments

[Eva05]

Алексей,использовать API нельзя,API не разрешает совершать запросы для user,только page
Если подгружаются через Ajax, что поможет устранить эту проблему?

[Алексей Черемисин]

Eva05: Ну, да, можно и устранить. Реверсинженируйте javascript фейсбука и будет щазтие, при этом, правда, придется еще сломать их авторизацию, как минимум.
И да, мировое сообщество вам бооольшое спасибо скажет. А фейсбук еще и денег заплатит за обнаруженные дыры.

[Eva05]

Алексей Черемисин: Спасибо))))))

[Алексей Черемисин]

Eva05: Есть еще вариант, эмулировать работу браузера. Для питона даже библиотеки есть для этого! И я не шучу - www.seleniumhq.org

[Eva05]

Алексей Черемисин: Спасибо Вам!

[nirvimel]

- Использовать API? Регистрировать приложение?
- Зачем, если эта функция присутствует в веб-интерфейсе?

- Сломать авторизацию? Кто-то заплатит за обнаружение "дыры"?
- Какой дыры? Это же штатный режим функционирования веб-интерфейса.

[nirvimel]

Selenium не эмулирует работу браузера. Selenium непосредственно использует браузер, и без установленного браузера работать не будет.
А вот requests, pycurl и прочие urllib2 именно эмулируют работу браузера, точнее предоставляют возможность пользователю самому эмулировать нужные ему аспекты поведения браузера.
Такая простая задача, как авторизация в социалке, исполнение поискового запроса и парсинг ответа вполне решается самостоятельно при помощи одного из перечисленных инструментов.

[Алексей Черемисин]

nirvimel: может быть я не в курсе, как вы предлагаете выдернуть список друзей? Какими средствами? Да, в браузере то мы видим список, но просто так достать его не получится, особенно через urllib2 и requests со товарищи. Сначала придется пройти авторизацию, а она тоже работает через javascript, причем достаточно хитро. И как из вебинтерфейса хотя бы ее достать?!
Что касается селениума, ошибся в термине, уж извините, я именно имел ввиду работу-автоматизацию через обычный браузер в системе. Чтобы зарегистрироваться в социалке БЕЗ браузера, нужно использовать или oauth (а он без ключа приложения работать не будет), либо хакать их джаваскипт, либо использовать другой какой метод, может быть подскажете какой?

[Алексей Черемисин]

nirvimel: ну и как обычно, я как удав тащусь от людей, у которых все просто и искреннее удивление на лице с вопросами без ответов!

[nirvimel]

Алексей Черемисин: Во-первых, чтение скриптов со страницы, и переписывание их на язык своего парсера (python, например) я не называю словом "хакнуть", это обычная рутинная работа при разработке парсеров.
Во-вторых, перед тем как лезть в код целевого сайта, я обычно внимательно рассматриваю запросы, которые идут на сервер при авторизации (или что мы там "хакаем"), при помощи Firebug->Net, Development_Tools->Network или в крайнем случае Wireshark. Очень часто удается на глаз заметить через какие поля передаются переменные и в своем парсере быстро набросать шаблон запроса (выдернутый из пойманного запроса) с подстановкой переменных. Переменные обычно идут через: GET-параметры, POST-формы, куки, прочие HTTP-заголовки или сериализуются в JSON (XML раньше встречался) в теле POST-запроса. В большом количестве случаев таким образом удается быстро создать парсер (или теперь это уже бот?) "проходящий" сквозь авторизацию и любые скриптовые препятствия (кроме капчи). Исключение составляют случаи, когда переменные отправляются не голым текстом, а как-то шифруются/обфусцируются на стороне сткипта. В этом случае уже приходится лезть в код. Еще часто встречается случай: переменные передаются открыто, но присутствует поле с каким-то хешем, тогда опять приходится смотреть в код, как там вычисляется этот хеш. Один раз видел что-то вроде полноценного криптографического протокола с сессионными ключами, реализованного прямо на javascript (!), и это как-то даже не тормозило (как можно было ожидать).

[Дмитрий]

Алексей Черемисин: Зачем парится с js. если можно разобрать их api.

[Eva05]

nirvimel: Не могли бы подсказать литературу/ресурсы где все что вы описали рассказывается подробно/для новичков в web
Спасибо!

[nirvimel]

Eva05: Специальных книг по разработке парсеров и веб-ботов, насколько я знаю, не существует. Тема довольно щекотливая, как вы понимаете, применение (на счет разработки сложно сказать) ПО для взаимодействия с коммерческими веб-сервисами (в т.ч. соц.сетями) почти неизбежно нарушает пользовательское соглашение этих сервисов. Об этом трудно писать (точнее трудно публиковать написанное). Все кричащие статьи о таком модном data mining обычно заканчиваются на примере парсера википедии. Поэтому, кроме собственного опыта, тут мало что поможет. Но не стоит думать, что тут используются какие-то секретные технологии. Написание парсеров, в целом - довольно несложная (в каком-то смысле даже тупая) работа. Необходимой теоретической базой является хорошее знание:
1. Сетевых протоколов.
2. Современных Web-технологий (этот пункт как раз не самый сложный, что бы там не говорили хипстеры от фроненда).
3. Программирования в целом.
4. Одного конкретного языка.
5. Библиотек под под этот язык для работы с HTTP, XML (HTML - частный случай (грубо говоря)), JSON и СУБД (для хранения результатов).

[Eva05]

nirvimel: Спасибо Вам большое!Внесли ясность для меня