Почему исчезают русские символы в MySQL INSERT?

Question

[Кирилл Фирсов]

Вся кодировка mysql - utf8.
Пытаюсь загрузить текстовый файл в кодировке ANSI (как говорит notepad++)
Читаю строки и загружаю в колонку с кодировкой utf8_general_ci.
Проблема в том, что русские символы изчезают.
Загружать файлы будут пользователи с кодировкой utf8 и ANSI, поэтому проблему надо как-то решить.
Делать iconv каждой строке слишком дорого, поэтому надо найти другое решение.

UPD:
Сейчас я сделал это так:

$data = [];
			if ($handle = fopen($_FILES['file']['tmp_name'], "r")) {
				while (!feof($handle)) {
					$line = fgets($handle, 4096);
					$line = trim($line);
					$encode = mb_detect_encoding($line, ['UTF-8'], true); // false если русские символы
					if ($encode === false)
					{
						$line = iconv("windows-1251", 'utf-8', $line);
					}
					if (!empty($line))
					{
						$data[] = [
							'good_id' => $goodId,
							'data' => $line
						];
					}
				}
				fclose($handle);
			}

Comments

[FanatPHP]

Что означает "пытаюсь загрузить текстовый файл"? Можно проиллюстрировать свой вопрос хоть каким-то кодом?

[Кирилл Фирсов]

@FanatPHP обновил.

[FanatPHP]

mb_detect_encoding используется довольно странным образом.
А обязательно файл? Через текстарию точно нельзя? В этом случае все было бы значительно проще.

[Кирилл Фирсов]

@FanatPHP да странным, но определить кодировку у меня получилось только так :) Файл обязательно.

[FanatPHP]

Не очень-то и получилось, вообще-то. iconv выкидывает русский - значит, входная кодировка была указана неверно. Что неудивительно, учитывая столь варварское обращение с mb_detect_encoding.

В общем, что к базам данных вопрос не имеет ни малейшего отношения, а на самом деле про определение кодировки. Ну, на эту тему много информации, даже на Хабре были статьи по-моему. После определения действовать по инструкции ниже. iconv выкинуть.

Answer 1

[FanatPHP]

Во-первых, "слишком дорого" - это фантазии.
Во-вторых, загружая данные в БД, надо ей говорить, в какой они кодировке.
В-третьих, кодировка тут не при чём. При проблемах с кодировкой текст может либо выглядеть как знаки вопроса, либо как нечитаемые символы. Но не пропадать совсем.

В общем, не зная никаких вообще деталей, сложно дать конкретные рекомендации, но если предположить, что используется запрос INSERT и mysql_query(), то после соединения с БД надо писать
mysql_set_charset('кодировка');
где кодировка - utf8 или cp1251 в зависимости от исходной кодировки файла.

Для других способов вставки могут понадобиться другие способы указания кодировки.
Если символы продолжают пропадать - дело не в базе.