Как преобразовать данные в таблицу DataFrame?

Question

[san_m_m]

Добрый день!

Есть код

import requests
import re



otoids = [11135, 11125]

for otoid in otoids:

    s = requests.Session()

    r = s.get('http://oto-register.autoins.ru/oto/index.xhtml')
    cdata = re.search(r'id="j_id1:javax.faces.ViewState:0" value="(.+?)"', r.text).group(1).strip()

    data = {
        'javax.faces.partial.ajax': 'true',
        'javax.faces.source': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.execute': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.render': 'mainForm:contentTabsPanel mainForm:otoPanel',
        'mainForm:remoteCommandSetupOtoId_action': 'mainForm:remoteCommandSetupOtoId_action',
        'otoId': otoid,
        'mainForm': 'mainForm',
        'mainForm:j_idt8': otoid,
        'mainForm:j_idt9': '',
        'mainForm:j_idt10': '',
        'mainForm:j_idt11': '',
        'javax.faces.ViewState': cdata,
    }

    headers = {
        'X-Requested-With': 'XMLHttpRequest',
        'Faces-Request': 'partial/ajax',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    }


    r = s.post('http://oto-register.autoins.ru/oto/index.xhtml', data=data, headers=headers)

    ogrn = re.search(r'ОГРН/ОГРНИП</div>\n.+<p>(.+?)</p>', r.text).group(1)

    print('ID:', otoid, 'ОГРНП:', ogrn)

Как можно сделать датафрейм со столбцами ID и ОГРН?
Предлагали использовать модуль io, но что-то мне подсказывает, что это не оптимальный способ

Answer 1

[Yuriy Vorobyov]

Используйте Pandas. Преобразуйте вашу структуру в объект, а его уже в Dataframe:

import pandas as pd

my_dict = { 'ID': otoid, 'ОГРНП': ogrn }

df = pd.DataFrame(data = my_dict)

upd:
полное решение, чтобы не читать всю вереницу комментариев:

import requests
import re
import pandas as pd

orgns = []

otoids = [11135, 11125]

for otoid in otoids:

    s = requests.Session()

    r = s.get('http://oto-register.autoins.ru/oto/index.xhtml')
    cdata = re.search(r'id="j_id1:javax.faces.ViewState:0" value="(.+?)"', r.text).group(1).strip()

    data = {
        'javax.faces.partial.ajax': 'true',
        'javax.faces.source': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.execute': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.render': 'mainForm:contentTabsPanel mainForm:otoPanel',
        'mainForm:remoteCommandSetupOtoId_action': 'mainForm:remoteCommandSetupOtoId_action',
        'otoId': otoid,
        'mainForm': 'mainForm',
        'mainForm:j_idt8': otoid,
        'mainForm:j_idt9': '',
        'mainForm:j_idt10': '',
        'mainForm:j_idt11': '',
        'javax.faces.ViewState': cdata,
    }

    headers = {
        'X-Requested-With': 'XMLHttpRequest',
        'Faces-Request': 'partial/ajax',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    }


    r = s.post('http://oto-register.autoins.ru/oto/index.xhtml', data=data, headers=headers)
    
    
    ogrn = re.search(r'ОГРН/ОГРНИП</div>\n.+<p>(.+?)</p>', r.text)

    if ogrn != None:
        ogrn = ogrn.group(1)
    else:
        ogrn = 'None'

    orgns.append(ogrn)

my_dict = { 'ID': otoids, 'ОГРНП': orgns }

df = pd.DataFrame(data = my_dict)
    
print(df)

Comments

[san_m_m]

Выдает ошибку
"If using all scalar values, you must pass an index"

[Yuriy Vorobyov]

miksan, а какие данные вы храните в otoid и в ogrn?

[Yuriy Vorobyov]

miksan, попробуйте так:

my_dict = { 'ID': [otoid], 'ОГРНП': [ogrn] }

df = pd.DataFrame(data = my_dict)

или так:

my_dict = { 'ID': otoid, 'ОГРНП': ogrn }

df = pd.DataFrame(data = my_dict, index=[0])

[san_m_m]

my_dict = { 'ID': otoids, 'ОГРНП': ogrn }
df = pd.DataFrame(data = my_dict, index = otoids)
df
А вот так выводит 5 одинаковых строк

[Yuriy Vorobyov]

miksan, выше ответил

[san_m_m]

Yuriy Vorobyov, Так код выводит только первую строку

[san_m_m]

Что-то никак не пойму в чем проблема...

[Yuriy Vorobyov]

miksan, данные какого вида хранятся в otoid и в ogrn?

[san_m_m]

str

[san_m_m]

print(type(ogrn))

Выводит
class 'str'
class 'str'

[Yuriy Vorobyov]

miksan, а выглядят как?

[san_m_m]

Yuriy Vorobyov, принт выводит следующее

ID: 105 ОГРНП: 1065019012046
ID: 106 ОГРНП: 1025005604051
ID: 107 ОГРНП: 1027700151302
ID: 108 ОГРНП: 1022200883649
ID: 109 ОГРНП: None
ID: 110 ОГРНП: 1023000852654

[Yuriy Vorobyov]

miksan, тогда создайте два массива за пределами цикла for и cпомощью append добавляйте данные в соответствующие массивы, после выполнения цикла for сделайте Dataframe, как я уже написал выше

[san_m_m]

Не получается

[Yuriy Vorobyov]

miksan, что конкретно не получается?

[san_m_m]

Yuriy Vorobyov,

import requests
import re
from bs4 import BeautifulSoup 
import pandas as pd
import io


otoids = []

for i in range(105, 111):
    i
    otoids.append(i)


for otoid in otoids:

    s = requests.Session()

    r = s.get('http://oto-register.autoins.ru/oto/index.xhtml')
    cdata = re.search(r'id="j_id1:javax.faces.ViewState:0" value="(.+?)"', r.text).group(1).strip()

    data = {
        'javax.faces.partial.ajax': 'true',
        'javax.faces.source': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.execute': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.render': 'mainForm:contentTabsPanel mainForm:otoPanel',
        'mainForm:remoteCommandSetupOtoId_action': 'mainForm:remoteCommandSetupOtoId_action',
        'otoId': otoid,
        'mainForm': 'mainForm',
        'mainForm:j_idt8': otoid,
        'mainForm:j_idt9': '',
        'mainForm:j_idt10': '',
        'mainForm:j_idt11': '',
        'javax.faces.ViewState': cdata,
    }

    headers = {
        'X-Requested-With': 'XMLHttpRequest',
        'Faces-Request': 'partial/ajax',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    }


    r = s.post('http://oto-register.autoins.ru/oto/index.xhtml', data=data, headers=headers)
    
    
    ogrn = re.search(r'ОГРН/ОГРНИП</div>\n.+<p>(.+?)</p>', r.text)
    if ogrn != None:
        ogrn = ogrn.group(1)
    else:
        ogrn = 'None'

Вот это выдает перечень строковых значений... Как я понимаю.
А когда я применяю твой код мне дает только первую строку...

Добавляя цикл For я просто разбираю первую строку на буквы

[Yuriy Vorobyov]

miksan, вы не так меня поняли:

import requests
import re
import pandas as pd

orgns = []

otoids = [11135, 11125]

for otoid in otoids:

    s = requests.Session()

    r = s.get('http://oto-register.autoins.ru/oto/index.xhtml')
    cdata = re.search(r'id="j_id1:javax.faces.ViewState:0" value="(.+?)"', r.text).group(1).strip()

    data = {
        'javax.faces.partial.ajax': 'true',
        'javax.faces.source': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.execute': 'mainForm:remoteCommandSetupOtoId_action',
        'javax.faces.partial.render': 'mainForm:contentTabsPanel mainForm:otoPanel',
        'mainForm:remoteCommandSetupOtoId_action': 'mainForm:remoteCommandSetupOtoId_action',
        'otoId': otoid,
        'mainForm': 'mainForm',
        'mainForm:j_idt8': otoid,
        'mainForm:j_idt9': '',
        'mainForm:j_idt10': '',
        'mainForm:j_idt11': '',
        'javax.faces.ViewState': cdata,
    }

    headers = {
        'X-Requested-With': 'XMLHttpRequest',
        'Faces-Request': 'partial/ajax',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    }


    r = s.post('http://oto-register.autoins.ru/oto/index.xhtml', data=data, headers=headers)
    
    
    ogrn = re.search(r'ОГРН/ОГРНИП</div>\n.+<p>(.+?)</p>', r.text)

    if ogrn != None:
        ogrn = ogrn.group(1)
    else:
        ogrn = 'None'

    orgns.append(ogrn)

my_dict = { 'ID': otoids, 'ОГРНП': orgns }

df = pd.DataFrame(data = my_dict)
    
print(df)

результат:

ID          ОГРНП
0  11135  1207700475729
1  11125  1185476043675

[san_m_m]

Yuriy Vorobyov, Спасибо огромное!
Извините, что тупил...

[Yuriy Vorobyov]

miksan, все в порядке