Как исправить ошибку при записи в mysql «Incorrect string value»?

Question

[Александр Мелихов]

Когда я парсю вот эту страницу и пытаюсь записать ее контент в базу данных, я получаю следующую ошибку:

SQLSTATE[HY000]: General error: 1366 Incorrect string value: '\xD0 ...' for column 'content'

Collation сначала был utf8_general_ci, потом, как почитал ответы на stackoverflow, поменял на utf8mb4_general_ci, и следом на utf8mb4_unicode_ci, ни одна не помогла.
Что интересно, данная ошибка проявляется только при парсинге этого сайта. Контент сайт отдает в utf8, даже не знаю, в чем тут проблема.

Comments

[LaXiTy]

не знаю, чем у вас закончилось, но, вероятно, следовало использовать кодировку utf8mb4_unicode_520_ci

[Shandy]

LaXiTy, не помогло

Answer 1

[Артемий Фамилий]

Подключение к БД так же нужно изменить на utf8mb4

Comments

[RusticAnd]

это ничего не помогает

[Артемий Фамилий]

RusticAnd, var_dump запроса покажите, пожалуйста.

[AmsterdamNV]

Спасибо, ваш комментарий помог)

Answer 2

[Ilya]

Проблема в том, что в контенте встречаются символы, которые состоят не из 3 байтов как в UTF-8, а из 4-х (всякие смайлы, эмоджи и пр.), и для их хранения вам надо для поля content использовать SET utf8mb4, а COLLATION utf8mb4_unicode_ci.
Вот тут очень много по этому поводу написано.

UPD: и вторая опция - принудительно очищайте данные до подходящего UTF-8 текста.

Answer 3

[Виталий]

Решил ошибку на django так:

Изменил кодировку:
ALTER DATABASE portfolio CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Поставил кодировку в настройке подключения к БД

'charset': 'utf8mb4',

И заработало после того как прописал такой параметр:
'init_command': 'SET NAMES utf8mb4',