Как заполнить форму авторизации web-страницы, если она сделана в таблице?

Question

[Headballz]

Пытаюсь залогиниться с помощью requests на сайте https://sslportal.tuv.com/dana-na/auth/url_3/welco...

import requests
url = 'https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi'
values = {'username': 'login',
          'password': 'pass'}
r = requests.post(url, data=values)
print (r.text)

Авторизация проваливается.
Через браузер всё ок.

html блока с input'ом username и password

<blockquote><form id="frmLogin_4" name="frmLogin" action="login.cgi" method="POST" autocomplete="off" onsubmit="return Login(0)">
        <input id="tz_offset_5" type="hidden" name="tz_offset">
        <table id="table_LoginPage_3" border="0" cellpadding="2" cellspacing="0">
                                        <tr>
                                                <td nowrap  colspan="3"><b>Welcome to</b></td>
                                        </tr>
                                        <tr>
                                                <td nowrap  colspan="3"><span class="cssLarge"><b>TEDIS application</b></span></td></tr>
                                      
                                        <tr>
                                              <td colspan="3">&nbsp;</td>
                                        </tr>
				<tr>
				
                                <td valign="top">
                                
                                        <table id="table_LoginPage_6" border="0" cellspacing="0" cellpadding="2">													<tr>
														<td>Username</td>
														<td>&nbsp;</td>
														<td><input id="username" type="text" name="username" size="20"></td>
													</tr>													<tr>
														<td>Password</td>
														<td>&nbsp;</td>
														<td><input id="password" type="password" name="password" size="20"></td>
													</tr>                                                <tr>                                                                <input id="realm_16" type="hidden" name="realm" value="DOM1">                                                </tr>                                                <tr>
                                                        <td colspan="3">&nbsp;</td>
                                                </tr>
                                                <tr>
                                                        <td>&nbsp;</td>
                                                        <td>&nbsp;</td>
                                                        <td><input id="btnSubmit_6" type="submit" value="Sign In" name="btnSubmit">&nbsp;                                                            <input id="help_3" type='submit' name='help' value="Help" onclick='window.open("welcome.cgi?p=help", "wndHelp", "height=400,width=500,resizeable=yes,scrollbars=yes"); return false;'></td>
                                                </tr>                                        </table>
                              
                        </td>
                        <td valign="top">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td>
			<td valign="top"><table id="TABLE_LoginPage_1" border="0" cellspacing="0" cellpadding="2">
<tr><td>Please sign in to begin your secure session.<br>  Further information about our <a href="https://www.tuv.com/content-media-files/world-site/pdfs/datenschutzhinweis_ext_portale.pdf">Data Protection Declaration (GDPR / DSGVO)</a> and <a href="https://www.tuv.com/de/deutschland/rechtlichehinweise/impressum_1.html">Imprint</a></tr></td></table></td>
	</tr>
        </table>  </form>
</blockquote>

Answer 1

[coderisimo]

Для начала у вас у формы экшн - login.cgi , а вы отправляете данные на welcome.cgi

СМ КАРТИНКО!

Comments

[Headballz]

Пытался через https://sslportal.tuv.com/dana-na/auth/url_3/login.cgi, тот же самый отлуп

[coderisimo]

Headballz, ну так не ленитесь! добавьте юзер агента в заголовки ))

[coderisimo]

Headballz,

как-то так...

url = 'https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi'

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.post(url,  data=values , headers=headers)

[Headballz]

coderisimo, та же самая ситуация. Вот ответ от Scrapy:

2019-09-27 01:21:54 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi?p=failed> (referer: None)
<200 https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi?p=failed>
2019-09-27 01:21:54 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi?p=failed> from <POST https://sslportal.tuv.com/dana-na/auth/url_3/login.cgi>
2019-09-27 01:21:54 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi?p=failed> (referer: https://sslportal.tuv.com/dana-na/auth/url_3/welcome.cgi?p=failed)

[coderisimo]

Headballz,

а если еще навалить данных в хедере ?

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
    "Host": "www.mywbsite.fr",
    "Connection": "keep-alive",
    "Origin": "https://www.mywbsite.fr",
    "X-Requested-With": "XMLHttpRequest",
     "Content-Type": "application/json",
    "Accept": "*/*",
    "Accept-Encoding": "gzip,deflate,sdch",
    "Accept-Language": "fr-FR,fr;q=0.8,en-US;q=0.6,en;q=0.4",
    "Accept-Charset": "ISO-8859-1,utf-8;q=0.7,*;q=0.3",
}

https://www.mywbsite.fr - заменить на урл данного сайта

[coderisimo]

Headballz, а вообще, для большей похожести на свой браузер можно просто взять готовые заголовки вот отсюда :

[Headballz]

coderisimo, Подозреваю, что проблема в спецсимволе @ в username (логин - почта), который обращается в %40123 (в браузере в реквесте такого нет).
Как экранировать собаку, или пост запрос сделать так, чтобы username не переводился в url?

[coderisimo]

Headballz, в реквесте в браузере оно тоже кодируется. Там где 'form data' есть 'view source' . Т.е можно глянуть в кодированном и некодированном виде

[coderisimo]

Headballz, еще момент - кукисы. Они есть на странице входа. Т.е сначала надо открыть страницу входа. Получить там кукисы и добавить их в хедер перед отправкой логин формы!

import requests
session = requests.Session()

response = session.get('http://gayzooporno.com')
print(session.cookies.get_dict())

потом добавляем их при попытке логиниться в заголовки