Как загрузить сайт через Mechanize или GRAB (Python 2.7.11)?

Как загрузить сайт https://www.iec.co.il/pages/billspayment.aspx через Mechanize или GRAB (Python 2.7.11)?

Мой код GRAB:
from grab import Grab
header={
'Host':'www.iec.co.il',
'Referer':'https://www.iec.co.il/pages/billspayment.aspx',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
}
g = Grab()
url='https://www.iec.co.il/pages/billspayment.aspx'
g.setup(headers=header)
g.go(url)
g.doc.save('result.html')

Mechanize:
import mechanize
br = mechanize.Browser() 
br.set_handle_robots(False)
br.set_handle_refresh(False) 
br.addheaders = [
('Host','www.iec.co.il'),
('Referer','https://www.iec.co.il/pages/billspayment.aspx'),
('Upgrade-Insecure-Requests','1'),
('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36')
] 
url='https://www.iec.co.il/pages/billspayment.aspx'
response = br.open(url)
s=response.read()
f = open('result.html', 'w')
f.writelines(s)
f.close()

Но ни один вариант не возвращает полную страницу
Как можно получить полную страницу (Mechanize, GRAB)?
Через Selenium получаю, да долго грузится
  • Вопрос задан
  • 535 просмотров
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
non progredi est regredi
сравните показания fiddler а для браузера и Питона

попробуйте сэмулировать запрос, выполняемый JS скриптами, если такой есть

скорее всего, возвращает все, только нужно дернуть сопутствующие JS скрипты, типа ниженего
<script src="/c3650cdf-216a-4ba2-80b0-9d6c54670b0b105e58d2-ea0f-484e-b88c-0e2c1499ec9bd71e4b42-4498-44e3-89b6-fa43b6845326" type="text/javascript"></script>
Ответ написан
Revencu
@Revencu Автор вопроса
Если я добавлю в HEADERS строку Cookie, взятую с браузера Request Headers, то возвращает страницу целиком, но на другой день опять падает.

Та же проблема :
www.cyberforum.ru/java-networks/thread1547066.html
forum.kodi.tv/showthread.php?tid=247154
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы