Дамп-файл MySQL и кодировки. Нужна помощь

Question

[Александр Пащенко]

Преамбула

Итак. Есть у меня база данных одного сайтика. Дело происходит на Винде. Mysql 5.5.
Кодировки везде стоят в UTF8.

mysql> show global variables like 'char%';

 character_set_client     utf8
 character_set_connection  utf8
 character_set_database    utf8
 character_set_filesystem  binary
 character_set_results     utf8
 character_set_server      utf8
 character_set_system   utf8

Сама БД создана с charset=utf8 и collation=utf8_general_ci
Все таблички в ней так же с charset=utf8 и collation=utf8_general_ci

Акт I

Ладно. Коннектимся из скрипта на ASP через ADODB (ODBC). Напоминаю что дело происходит в Винде.
Вот строчка коннекта:

Driver={MySQL};Stmt=SET NAMES 'utf8';SERVER=localhost;DATABASE=Mybase;UID=Myuser;PWD=Mypass;

Выбираем записи из таблицы и видим… абракадабру.
Методом подбора кодировок страницы в Файрфоксе понимаем что это CP1251.

Да, но как?!!!

Акт II

Ладно. Делаю mysqldump.
Открываю дамп в Notepad++
Иду в меню Encoding и убеждаюсь что кодировка — UTF8. Все русские буквы в дампе нормально читаются.
Для надёжности делаю Encoding — Convert to UTF8. Русские буквы остались русскими.
Заливаю обработанный дамп (теперь то уж точно в UTF8) в базу.

И… ничего. Опять абракадабра.

Акт III

Ладно. Может быть виноват Воландеморт? Может тёмные силы прячуться где-то между Mysql и скриптом на ASP?
Подключаюсь к базе через консольный mysql-клиент.
Делаю выборку — то же самое. Абракадабра. Да как же так?
Данные заливали в UTF8, база в UTF8.

Акт IV

Блин. Пишу свой скрипт в Notepad++. Строго слежу чтобы кодировка в редакторе была UTF8. В нём добавляю в ту же таблицу несколько записей захардкоденых в скрипт.

Получаю обратно через консоль, скриптик и даже через Navicat.
Что за чёрт? Мой скрипт добавил данные в UTF8. А, те которые были залиты в базу из дампа оказались в CP1251 (напоминаю что файлик дампа содержал данные в UTF8).

Асе V

О_О WTF?

Помогите люди добрые понять где глюк засел.

Comments

[Александр Пащенко]

Мне кажется что я победил эту беду. Но пока что нет времени воспросизвести эксперимент с чистого листа.
Поставил на виртуалочке свежую серверную винду, Мускуль 5.5. Все остальные компоненты.
Залил дамп командой
mysql --disable-named-commands --default-character-set=utf8 -uuser -p db < mysql-db-backup.sql

И все стало отдаваться в правильной кодировке. Вроде бы…
Неужто дело было в этих самых засунутых Mysqldump'ом командах в начало файла. Опция --disable-named-commands заставляет игнорировать их.

Но пока что не всё ещё проверено.

Answer 1

[Сергей Береснев]

Ничего не сказано каким образом данные попадали в базу. Но мне видится, что они туда писались в CP1251.

Comments

[Александр Пащенко]

Вот же:

Делаю mysqldump.
Открываю дамп в Notepad++
Иду в меню Encoding и убеждаюсь что кодировка — UTF8. Все русские буквы в дампе нормально читаются.
Для надёжности делаю Encoding — Convert to UTF8. Русские буквы остались русскими.
Заливаю обработанный дамп (теперь то уж точно в UTF8) в базу.

Изначально данные туда попали через сайт. В какой кодировке они писались — не знаю. По идее в UTF-8.
Просто эту сайт писал и настраивал систему другой человек.

Answer 2

[rPman]

Консоль в windows с кодировкой cp866, поэтому и 'кракозяблы'… что в test.txt?
mysql .... -e "select * from table" > test.txt

Comments

[Александр Пащенко]

— после выполнения комнады из консоли cmd.exe в файлике test.txt данные в UTF8.
— но при коннекте через Navicat с принудительно установленной кодировкой UTF-8 — вопросики вместо русских букв
— при коннекте через Navicat с настройкой «использовать кодировку mysql сервера» — русские буквы остаются русскими.
— при этом в обоих случаях:

show global variables like 'char%';

 character_set_client     utf8
 character_set_connection  utf8
 character_set_database    utf8
 character_set_filesystem  binary
 character_set_results     utf8
 character_set_server      utf8
 character_set_system   utf8

show global variables like '%conn%';

character_set_connection utf8
collation_connection utf8_general_ci

Answer 3

[VBKesha]

В начале дампа иногда тоже неплохо бы написать SET NAMES utf8;

Comments

[Александр Пащенко]

В начале дампа и так сгенерено утилитой mysqldump некоторое количество команд. В частности:

-- MySQL dump 10.13  Distrib 5.5.28, for Win32 (x86)
--
-- Host: localhost    Database: db
-- ------------------------------------------------------
-- Server version	5.5.28

/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

Answer 4

[Wott]

Судя по акту №4 в базе данные в CP1251, хотя акт №2 не сопрягается с актом №4 — видимо вы все таки где-то ошиблись.
Как вариант сконвертируйте поля с русским текстом в blob и посмотрите что получиться