Как на Python спарсить данные в mySQL таблицу?

Question

[vovka_losira]

Друзья, недавно начал учиться программировать на Python...

Пытаюсь спарсить в mySQL таблицу список названий всех сериалов с LostFilms.

Найти и вывести названия получилось, а запихнуть их в таблицу - нет(

from bs4 import BeautifulSoup
import mysql.connector
import unicodedata





data_html = open('LF_all_ser.html',encoding='utf8').read()

soup = BeautifulSoup(data_html, 'html.parser')

All_names = soup.find_all('div', class_='name-ru')

i = 0

for div in All_names:
    a = div.get_text()
    i = i+1
    while i<10:
           conn = mysql.connector.connect(user = 'root', password = 'pass', host = 'localhost', database = 'test')
           cursor = conn.cursor()

           add_ser = 'INSERT INTO allser (id, name) VALUES (%s,%s)'
           data_ser = [ (i, a),]

           cursor.executemany(add_ser, data_ser)
           conn.commit()

пишет - Incorrect string value: '\xD0\x9F\xD0\xBE\xD0\xBF...' for column 'name' at row 1

Видимо - какая-то проблема с кодировкой или я просто очень глупый.

Молю о помощи братьев старших

Comments

[AWEme]

Какой питон используете?
И у вас там бесконечный цикл без брейка.

Answer 1

[Rsa97]

Неправильная кодировка столбца таблицы и/или соединения с сервером.

Comments

[vovka_losira]

а как исправить?

Answer 2

[Владимир Куц]

Попробуйте выполнить команды вроде

ALTER DATABASE dbname CHARACTER SET utf8 COLLATE utf8_general_ci;
ALTER TABLE tablename CHARACTER SET utf8 COLLATE utf8_general_ci;

в консоли mysql сервера
dbname и tablename свои только подставьте...

Comments

[vovka_losira]

Поменял кодировку, теперь получается записывать данные в базу.
Но теперь другая проблема...
Данные на английском выглядят нормально, а Русский превращается в тарабарщину(

[Владимир Куц]

vovka_losira, а python какой версии используете?

[vovka_losira]

3.7.2

[Владимир Куц]

vovka_losira, вообще такое впечатление что вы пишете кодировке windows-1251 или вроде того
Попробуйте преобразовать строку в utf-8 перед записью в базу

[vovka_losira]

Владимир Куц, encode('utf8') не дает результата