Как записать результат парсинга на python в бд?

Question

[taki_t]

С нескольких страниц были собраны таблицы.
Подскажите, как их положить массив и записать в бд?

Answer 1

[nirvimel]

Советую изучить какую-нибудь ORM, например SQLAlchemy, чтобы не месить SQL вручную и не изобретать велосипеды.

Answer 2

[Vov Vov]

SQlite уже в коробке...

Answer 3

[Вадим Яковлев]

Ну вот так, например. Вы бы хоть уточнили в какую БД? Какая версия Python?
update
для PostgreSQL:
Вот как вариант модуль с хорошей документацией. Дальше без Вашего кода помочь не могу.

Comments

[taki_t]

Простите, python 3 и postgres

[Вадим Яковлев]

taki_t: отредактировал ответ.

[taki_t]

Этот модуль и планирую использовать, но не пойму как передать результат из функции в запрос
def parse_page(html):
soup = BeautifulSoup(html)
table = soup.find('table', class_= 'ex2')
if table == None:
return
get_table = table.find_all('td')
for f in get_table:
global s
s = f.text
print(s)

def connect():
conn = psycopg2.connect(user='postgres', password='root', host='127.0.0.1', port=5432, database='pytest')
cur = conn.cursor()
conn.commit()
cur.execute("insert into pytest values .....

[mukizu]

taki_t: global s <- божечки, подождите вы с базами данных.

Вообще подготовьте для каждой строки таблицы sql запрос со значениями, путем форматирования строки, а потом передавайте в курсор на выполнение.

[taki_t]

mukizu: Спасибо) Замечаю странную особенность, задаешь вопрос и решение приходит до ответа) Но у меня есть уточняющий вопрос: если парсер с разных страниц вытаскивает необходимые таблицы, которые имеют разные строения, смысл вообще есть?

[mukizu]

taki_t: В таком случае решение обычно приходит по той причине, что был сформулирован вопрос. Попробуйте перед тем как его задавать кому-то правильно его сформулировать для себя самого. В правильной постановке вопроса - половина решения.

Про строение надо уточнить, что имеется ввиду. Разный набор полей? Если так, то скорее всего либо привести базу к нужному формату (тогда очевидно, какие-то поля будут пустыми), либо из награбленного убирать ненужное.