Парсинг facebook, в чем ошибка?

Question

[Максим]

Помогите выбрать href с facebook.

from grab import Grab

def main():
	g = Grab()
	g.go('https://www.facebook.com/login.php?login_attempt=1')
	g.doc.set_input('email', 'email')
	g.doc.set_input('pass', 'paswd')
	g.doc.submit()

	g.go('https://www.facebook.com')
	for elem in g.doc.select("//*[contains(@class, '_5pcq')]//@href"):
		print(elem)

if __name__ == '__main__':
	main()

Не выводит ровным счетом ничего.
Где я мог ошибиться?
Спасибо!

Answer 1

[Максим]

Проблему решил, selenium + phantomjs.

Answer 2

[lPolar]

Ровным счетом ничего - это?
1. Почти наверняка на fb есть AJAX. Нужно проверить, какой в действительности запрос отправляется на сервер fb при авторизации. Это можно сделать в firefox через firebug, например.
2. Как выглядит код страницы в ответе на логин?

Comments

[Максим]

в ответ приходит тело html, и нужный элемент в нем есть, а вот вытащить его не получаеться

Answer 3

[Андрей]

Вначале надо убедиться, что ответ вообще получен.

Я думаю как минимум необходимо передать кучу стандартных заголовков, тех, что отправляет браузер.
Как пример:

Accept image/png,image/*;q=0.8,*/*;q=0.5
Accept-Encoding gzip, deflate
Accept-Language ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Connection keep-alive
Cookie
DNT 1
Host mc.yandex.ru
Referer Парсинг facebook, в чем ошибка?
User-Agent Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0

но бывает и этого не достаточно.

Возможно надо вначале сделать запрос к странице с формой, получить и передать также скрытые поля и т.д.
Возможно еще необходимо выполнить какой нибудь javascript код и т.п.

Comments

[Максим]

подскажите как можно посмотреть скрытые поля? Заголовки все передал.

[Андрей]

Посмотреть исходный код формы, к примеру Firebug`ом и посмотреть там все возможные поля, которые отправляются. Так же им можно вообще проверить, какой запрос отправляет браузер и полностью его попытаться съэмулировать.