Как импортировать в MySql csv без разделителя и с пробелами?

Question

Evgeny Kotov @eskotov

MySQL

Как импортировать в MySql csv без разделителя и с пробелами?

Уважаемые знатоки,

суть задачи такова: нужно автоматически импортировать фаил csv такого формата.

...
"Starttime" "Endtime" "Samplecounter" "pH" "ID"..........
"01.01.2019 23:00" "01.01.2019 23:01" "4501" "11" "12345"
...

импорт в excel работает безукоризнено можно сохранить с разделителем и импортировать примерно так:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

задача состоит в том что бы импортировать без предварительной обработки.

Вопрос задан более трёх лет назад
94 просмотра

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 1

13 комментариев

Evgeny Kotov @eskotov Автор вопроса

Не все так просто. В ячейки с датой используеться пробел и все сдвигаеться.

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, они же обернуты в кавычки. Есть пример результата?

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Первая строка нормально так как было сделанно вручную через промежуточный excel

Написано более трёх лет назад
Артур К. @amark

Вот мой результат:

Из примера ваших данных:

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, Первые "нулевые" строки — это "обрезанные" поля, из-за разногласий по типам.
От чего у меня возник вопрос: какая структура вашей таблицы? какие типы полей указаны???

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

Написано более трёх лет назад
Артур К. @amark

хм. У меня первые две колонки варчары были. хотя это не должно было бы повлиять

Написано более трёх лет назад

Артур К. @amark

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS  ENCLOSED BY '"' TERMINATED BY ' ' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и вот этот запрос

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

CREATE TABLE `table 1` (
	`Starttime` VARCHAR(50) NULL DEFAULT NULL,
	`Endtime` VARCHAR(50) NULL DEFAULT NULL,
	`Samplecounter` VARCHAR(50) NULL DEFAULT NULL,
	`Sampletype` VARCHAR(5) NULL DEFAULT NULL,
	`Username` VARCHAR(50) NULL DEFAULT NULL,
	`Patient ID` VARCHAR(10) NULL DEFAULT NULL,
	`Lastname` VARCHAR(50) NULL DEFAULT NULL,
	`pH` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hct [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Na [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`K [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Ca [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Cl [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Glu [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Lac [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`tHb [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`O2Hb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`COHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`MetHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`HHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Baro [mmHg]` VARCHAR(5) NULL DEFAULT NULL,
	`a/AO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Ri [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`a/AO2t [%]` VARCHAR(10) NULL DEFAULT NULL,
	`RIt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`OER [%]` VARCHAR(10) NULL DEFAULT NULL,
	`avDO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`BO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(P) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`p50 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Osm [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`MCHC [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2(c) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`FO2HB` VARCHAR(10) NULL DEFAULT NULL,
	`pHt` VARCHAR(10) NULL DEFAULT NULL,
	`pHSt` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3 [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BB [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`AG [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3st [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cH+ [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Qt [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(B) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`BE [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BEecf [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`ctO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`nCa2+ [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHt [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BE(act) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`PF Index [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hctc` VARCHAR(10) NULL DEFAULT NULL,
	`Bloodtype` VARCHAR(7) NULL DEFAULT NULL,
	`Puncturesite` VARCHAR(7) NULL DEFAULT NULL,
	`Container` VARCHAR(9) NULL DEFAULT NULL,
	`Allentest` VARCHAR(7) NULL DEFAULT NULL,
	`Temperature [C]` INT(2) NULL DEFAULT NULL,
	`FiO2` VARCHAR(4) NULL DEFAULT NULL,
	`tHb(e)` INT(2) NULL DEFAULT NULL,
	`Date/Time drawn` VARCHAR(10) NULL DEFAULT NULL,
	`Specimen ID` VARCHAR(10) NULL DEFAULT NULL,
	`Accession Number` VARCHAR(10) NULL DEFAULT NULL,
	`Order ID` VARCHAR(10) NULL DEFAULT NULL,
	`RQ` VARCHAR(4) NULL DEFAULT NULL,
	`Medication` VARCHAR(10) NULL DEFAULT NULL,
	`Hb Factor` INT(1) NULL DEFAULT NULL,
	`Diagnosis` VARCHAR(10) NULL DEFAULT NULL,
	`OsmOptGap [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Vent Mode` VARCHAR(10) NULL DEFAULT NULL,
	`VT [l]` VARCHAR(10) NULL DEFAULT NULL,
	`Urea_e [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`SRATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`Osmolality_e [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Oxygenation device` VARCHAR(10) NULL DEFAULT NULL,
	`PEEP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`CPAP` VARCHAR(10) NULL DEFAULT NULL,
	`PIP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`MAP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`Ti [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`Te [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`MV [l]` VARCHAR(10) NULL DEFAULT NULL,
	`ARATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`FLOWRATE [l/min]` VARCHAR(10) NULL DEFAULT NULL,
	`24h Urine [ml]` VARCHAR(10) NULL DEFAULT NULL,
	`Doctor` VARCHAR(10) NULL DEFAULT NULL,
	`accepted by` VARCHAR(10) NULL DEFAULT NULL,
	`Clinic` VARCHAR(10) NULL DEFAULT NULL,
	`Location` VARCHAR(10) NULL DEFAULT NULL,
	`Hospital Service` VARCHAR(10) NULL DEFAULT NULL,
	`Ward` VARCHAR(10) NULL DEFAULT NULL,
	`Department` VARCHAR(10) NULL DEFAULT NULL,
	`Danger code` VARCHAR(10) NULL DEFAULT NULL,
	`Diagnostic code type` VARCHAR(10) NULL DEFAULT NULL,
	`Billing code` VARCHAR(10) NULL DEFAULT NULL,
	`Comment` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 1` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 2` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 3` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 4` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 5` VARCHAR(10) NULL DEFAULT NULL,
	`Firstname` VARCHAR(10) NULL DEFAULT NULL,
	`Middlename` VARCHAR(10) NULL DEFAULT NULL,
	`Maiden name` VARCHAR(10) NULL DEFAULT NULL,
	`Suffix` VARCHAR(10) NULL DEFAULT NULL,
	`Title` VARCHAR(10) NULL DEFAULT NULL,
	`Weight [kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Birth_date` VARCHAR(10) NULL DEFAULT NULL,
	`Sex` VARCHAR(7) NULL DEFAULT NULL,
	`Age Level` VARCHAR(9) NULL DEFAULT NULL,
	`MaritalStatus` VARCHAR(10) NULL DEFAULT NULL,
	`Diet` VARCHAR(10) NULL DEFAULT NULL,
	`Isolation status` VARCHAR(10) NULL DEFAULT NULL,
	`Admision status` VARCHAR(10) NULL DEFAULT NULL,
	`Admission date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Discharge date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Changed date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Insurance code` VARCHAR(10) NULL DEFAULT NULL,
	`Adress` VARCHAR(10) NULL DEFAULT NULL,
	`Patient language` VARCHAR(10) NULL DEFAULT NULL,
	`Ethnic origin` VARCHAR(10) NULL DEFAULT NULL,
	`Phone No` VARCHAR(10) NULL DEFAULT NULL,
	`Religion` VARCHAR(10) NULL DEFAULT NULL,
	`Size [cm]` VARCHAR(10) NULL DEFAULT NULL,
	`Demodata` INT(1) NULL DEFAULT NULL,
	`Lactat clearance 1 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Bili [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt(est) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Samplemode` VARCHAR(6) NULL DEFAULT NULL,
	`Samplevolume [micl]` INT(3) NULL DEFAULT NULL,
	`OsmOpt [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
;

... csv.. .
"Starttime" "Endtime" "Samplecounter" "Sampletype" "Username" "Patient ID" "Lastname" "pH" "pCO2 [mmHg]" "pO2 [mmHg]" "Hct [%]" "Na [mmol/l]" "K [mmol/l]" "Ca [mmol/l]" "Cl [mmol/l]" "Glu [mg/dl]" "Lac [mmol/l]" "tHb [g/dl]" "SO2 [%]" "O2Hb [%]" "COHb [%]" "MetHb [%]" "HHb [%]" "Baro [mmHg]" "a/AO2 [%]" "Ri [%]" "Qs/Qt [%]" "a/AO2t [%]" "RIt [%]" "OER [%]" "avDO2 [vol%]" "BO2 [vol%]" "ctCO2(P) [mmol/l]" "p50 [mmHg]" "pAO2 [mmHg]" "a/ADO2 [mmHg]" "pAO2t [mmHg]" "a/ADO2t [mmHg]" "pCO2t [mmHg]" "Osm [mOsm/kg]" "MCHC [g/dl]" "SO2(c) [%]" "FO2HB" "pHt" "pHSt" "cHCO3 [mmol/l]" "BB [mmol/l]" "AG [mmol/l]" "cHCO3st [mmol/l]" "cH+ [nmol/l]" "Qt [vol%]" "ctCO2(B) [mmol/l]" "pO2t [mmHg]" "BE [mmol/l]" "BEecf [mmol/l]" "ctO2 [vol%]" "nCa2+ [mmol/l]" "cHt [nmol/l]" "BE(act) [mmol/l]" "PF Index [mmHg]" "Hctc" "Bloodtype" "Puncturesite" "Container" "Allentest" "Temperature [C]" "FiO2" "tHb(e)" "Date/Time drawn" "Specimen ID" "Accession Number" "Order ID" "RQ" "Medication" "Hb Factor" "Diagnosis" "OsmOptGap [mOsm/kg]" "Vent Mode" "VT [l]" "Urea_e [mmol/l]" "SRATE [br/min]" "Osmolality_e [mOsm/kg]" "Oxygenation device" "PEEP [cmH2O]" "CPAP" "PIP [cmH2O]" "MAP [cmH2O]" "Ti [sec]" "Te [sec]" "MV [l]" "ARATE [br/min]" "FLOWRATE [l/min]" "24h Urine [ml]" "Doctor" "accepted by" "Clinic" "Location" "Hospital Service" "Ward" "Department" "Danger code" "Diagnostic code type" "Billing code" "Comment" "Remark 1" "Remark 2" "Remark 3" "Remark 4" "Remark 5" "Firstname" "Middlename" "Maiden name" "Suffix" "Title" "Weight [kg]" "Birth_date" "Sex" "Age Level" "MaritalStatus" "Diet" "Isolation status" "Admision status" "Admission date/time" "Discharge date/time" "Changed date/time" "Insurance code" "Adress" "Patient language" "Ethnic origin" "Phone No" "Religion" "Size [cm]" "Demodata" "Lactat clearance 1 [%]" "Bili [mg/dl]" "Qs/Qt(est) [%]" "Samplemode" "Samplevolume [micl]" "OsmOpt [mOsm/kg]"
"07.01.19 07:34" "07.01.19 07:37" "4501" "Blood" "" "" "" "7,451" "38,5" "85,7" "24,3" "140,2" "3,76" "1,133" "107,2" "97" "1,2" "7,6" "99,0" "97,5" "1,2" "0,3" "1,0" "753,0" "" "" "" "" "" "" "" "10,5" "27,4" "16,9" "" "" "" "" "38,5" "280" "31,4" "97,0" "0,975" "7,451" "7,439" "26,3" "47,0" "10,6" "26,1" "35,4" "" "24,96" "85,7" "2,14" "2,28" "10,61" "1,16" "35,40" "2,75" "407,93" "0,23" "Unknown" "Unknown" "Capillary" "Unknown" "37,0" "0,21" "15,0" "" "" "" "" "0,84" "" "3,0" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "Unknown" "> 1 year " "" "" "" "" "" "" "" "" "" "" "" "" "" "" "0" "" "" "" "normal" "123" ""

..csv..

Написано более трёх лет назад

Артур К. @amark

Evgeny Kotov, Та же самая тема.

Эти три ячейки режутся из-за несовпадения типов. Я заменил их на varchar и всё стало хорошо.

Посмотрел на таблицу, и у меня возникло несколько замечаний.
Во-первых, некоторые поля таблицы имеют пробелы в названии.
Во-вторых, квадратные скобки и служебные символы.
Я бы рекомендовал привести поля таблиц "в порядок", хотя бы по этому гайду (если вдруг не зайдет — таких можно нагуглить еще много).
Кстати, единицы измерения можно перенести в комментарий к полю.

P/s Вижу, тут тема медицины или исследований? Очень сложная таблица получается. Надеюсь, она временная? Её бы разбить/нормализовать.

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Спасибо за информацию приму к сведенью.
Все получилось, в поисках ошибки разбил таблицу и переименовал столбцы. Ошибка была в кодировке csv.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

PHP

+1 ещё

Простой
Как взаимодействовать с базой, если у тебя запущен вечный скрипт?
- 1 подписчик
- 9 часов назад
- 99 просмотров
2

ответа
PHP

+1 ещё

Простой
Почему может возникать mysql ошибка 2006, если timeout 28800?
- 1 подписчик
- вчера
- 46 просмотров
1

ответ
PHP

+1 ещё

Простой
Как вывести сумму значений из MySQL в общую таблицу?
- 1 подписчик
- вчера
- 86 просмотров
1

ответ
MySQL

+2 ещё

Сложный
Как пофиксить дедлоки и таймауты во время транзакций сохранения данных в базу при многопоточности от ForkJoinPool?
- 1 подписчик
- 28 апр.
- 177 просмотров
1

ответ
MySQL

+1 ещё

Простой
Почему IDEA выдает ошибку об отсутствие jdbc драйвера?
- 1 подписчик
- 28 апр.
- 49 просмотров
1

ответ
MySQL

+1 ещё

Средний
Как исправить — mariadb не запускается после зменения расположения датафайлов?
- 1 подписчик
- 26 апр.
- 58 просмотров
0

ответов
MySQL

Простой
Как составить запрос для поиска в бд mysql?
- 1 подписчик
- 26 апр.
- 88 просмотров
1

ответ
MySQL

+1 ещё

Простой
Как извлечь топ 15 очков из таблицы чтобы игроки не дублировались?
- 1 подписчик
- 22 апр.
- 131 просмотр
1

ответ
MySQL

Простой
Как сохранить mysql базу?
- 1 подписчик
- 21 апр.
- 99 просмотров
1

ответ
PHP

+1 ещё

Простой
Как исправить ошибку Uncaught Error: Call to undefined function mysql_real_escape_string?
- 1 подписчик
- 21 апр.
- 107 просмотров
3

ответа
Показать ещё Загружается…

Программист C++ Builder / базы данных MySQL

RU Electronics • Москва

от 180 000 до 200 000 ₽

Инженер технической поддержки с английским языком и знанием PHP/MySQL

IT-Aces

от 100 000 до 150 000 ₽

Второй ведущий разработчик (Fullstack, PHP, Laravel, Vue, Mysql)

Donatov.net

от 100 000 до 300 000 ₽

Нужна презентация и опросник на новую фичу для ресторанов

02 мая 2024, в 01:05

8000 руб./за проект

Поменять пароль root пользователя mysql

01 мая 2024, в 23:44

1000 руб./за проект

Модифицировать android приложение

01 мая 2024, в 23:25

2000 руб./за проект

Answer 1 · 2019-01-30 01:10:00

Так поменяйте запрос:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY '_ТУТ ПОСТАВИТЬ ПРОБЕЛ_' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и укажите разделитель "пробел" вместо запятой

Как импортировать в MySql csv без разделителя и с пробелами?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт