Как импортировать в MySql csv без разделителя и с пробелами?

Question

Evgeny Kotov @eskotov

MySQL

Как импортировать в MySql csv без разделителя и с пробелами?

Уважаемые знатоки,

суть задачи такова: нужно автоматически импортировать фаил csv такого формата.

...
"Starttime" "Endtime" "Samplecounter" "pH" "ID"..........
"01.01.2019 23:00" "01.01.2019 23:01" "4501" "11" "12345"
...

импорт в excel работает безукоризнено можно сохранить с разделителем и импортировать примерно так:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

задача состоит в том что бы импортировать без предварительной обработки.

Вопрос задан более трёх лет назад
113 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 1

13 комментариев

Evgeny Kotov @eskotov Автор вопроса

Не все так просто. В ячейки с датой используеться пробел и все сдвигаеться.

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, они же обернуты в кавычки. Есть пример результата?

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Первая строка нормально так как было сделанно вручную через промежуточный excel

Написано более трёх лет назад
Артур К. @amark

Вот мой результат:

Из примера ваших данных:

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, Первые "нулевые" строки — это "обрезанные" поля, из-за разногласий по типам.
От чего у меня возник вопрос: какая структура вашей таблицы? какие типы полей указаны???

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

Написано более трёх лет назад
Артур К. @amark

хм. У меня первые две колонки варчары были. хотя это не должно было бы повлиять

Написано более трёх лет назад

Артур К. @amark

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS  ENCLOSED BY '"' TERMINATED BY ' ' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и вот этот запрос

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

CREATE TABLE `table 1` (
	`Starttime` VARCHAR(50) NULL DEFAULT NULL,
	`Endtime` VARCHAR(50) NULL DEFAULT NULL,
	`Samplecounter` VARCHAR(50) NULL DEFAULT NULL,
	`Sampletype` VARCHAR(5) NULL DEFAULT NULL,
	`Username` VARCHAR(50) NULL DEFAULT NULL,
	`Patient ID` VARCHAR(10) NULL DEFAULT NULL,
	`Lastname` VARCHAR(50) NULL DEFAULT NULL,
	`pH` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hct [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Na [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`K [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Ca [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Cl [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Glu [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Lac [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`tHb [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`O2Hb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`COHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`MetHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`HHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Baro [mmHg]` VARCHAR(5) NULL DEFAULT NULL,
	`a/AO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Ri [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`a/AO2t [%]` VARCHAR(10) NULL DEFAULT NULL,
	`RIt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`OER [%]` VARCHAR(10) NULL DEFAULT NULL,
	`avDO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`BO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(P) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`p50 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Osm [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`MCHC [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2(c) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`FO2HB` VARCHAR(10) NULL DEFAULT NULL,
	`pHt` VARCHAR(10) NULL DEFAULT NULL,
	`pHSt` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3 [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BB [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`AG [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3st [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cH+ [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Qt [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(B) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`BE [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BEecf [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`ctO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`nCa2+ [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHt [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BE(act) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`PF Index [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hctc` VARCHAR(10) NULL DEFAULT NULL,
	`Bloodtype` VARCHAR(7) NULL DEFAULT NULL,
	`Puncturesite` VARCHAR(7) NULL DEFAULT NULL,
	`Container` VARCHAR(9) NULL DEFAULT NULL,
	`Allentest` VARCHAR(7) NULL DEFAULT NULL,
	`Temperature [C]` INT(2) NULL DEFAULT NULL,
	`FiO2` VARCHAR(4) NULL DEFAULT NULL,
	`tHb(e)` INT(2) NULL DEFAULT NULL,
	`Date/Time drawn` VARCHAR(10) NULL DEFAULT NULL,
	`Specimen ID` VARCHAR(10) NULL DEFAULT NULL,
	`Accession Number` VARCHAR(10) NULL DEFAULT NULL,
	`Order ID` VARCHAR(10) NULL DEFAULT NULL,
	`RQ` VARCHAR(4) NULL DEFAULT NULL,
	`Medication` VARCHAR(10) NULL DEFAULT NULL,
	`Hb Factor` INT(1) NULL DEFAULT NULL,
	`Diagnosis` VARCHAR(10) NULL DEFAULT NULL,
	`OsmOptGap [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Vent Mode` VARCHAR(10) NULL DEFAULT NULL,
	`VT [l]` VARCHAR(10) NULL DEFAULT NULL,
	`Urea_e [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`SRATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`Osmolality_e [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Oxygenation device` VARCHAR(10) NULL DEFAULT NULL,
	`PEEP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`CPAP` VARCHAR(10) NULL DEFAULT NULL,
	`PIP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`MAP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`Ti [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`Te [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`MV [l]` VARCHAR(10) NULL DEFAULT NULL,
	`ARATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`FLOWRATE [l/min]` VARCHAR(10) NULL DEFAULT NULL,
	`24h Urine [ml]` VARCHAR(10) NULL DEFAULT NULL,
	`Doctor` VARCHAR(10) NULL DEFAULT NULL,
	`accepted by` VARCHAR(10) NULL DEFAULT NULL,
	`Clinic` VARCHAR(10) NULL DEFAULT NULL,
	`Location` VARCHAR(10) NULL DEFAULT NULL,
	`Hospital Service` VARCHAR(10) NULL DEFAULT NULL,
	`Ward` VARCHAR(10) NULL DEFAULT NULL,
	`Department` VARCHAR(10) NULL DEFAULT NULL,
	`Danger code` VARCHAR(10) NULL DEFAULT NULL,
	`Diagnostic code type` VARCHAR(10) NULL DEFAULT NULL,
	`Billing code` VARCHAR(10) NULL DEFAULT NULL,
	`Comment` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 1` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 2` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 3` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 4` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 5` VARCHAR(10) NULL DEFAULT NULL,
	`Firstname` VARCHAR(10) NULL DEFAULT NULL,
	`Middlename` VARCHAR(10) NULL DEFAULT NULL,
	`Maiden name` VARCHAR(10) NULL DEFAULT NULL,
	`Suffix` VARCHAR(10) NULL DEFAULT NULL,
	`Title` VARCHAR(10) NULL DEFAULT NULL,
	`Weight [kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Birth_date` VARCHAR(10) NULL DEFAULT NULL,
	`Sex` VARCHAR(7) NULL DEFAULT NULL,
	`Age Level` VARCHAR(9) NULL DEFAULT NULL,
	`MaritalStatus` VARCHAR(10) NULL DEFAULT NULL,
	`Diet` VARCHAR(10) NULL DEFAULT NULL,
	`Isolation status` VARCHAR(10) NULL DEFAULT NULL,
	`Admision status` VARCHAR(10) NULL DEFAULT NULL,
	`Admission date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Discharge date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Changed date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Insurance code` VARCHAR(10) NULL DEFAULT NULL,
	`Adress` VARCHAR(10) NULL DEFAULT NULL,
	`Patient language` VARCHAR(10) NULL DEFAULT NULL,
	`Ethnic origin` VARCHAR(10) NULL DEFAULT NULL,
	`Phone No` VARCHAR(10) NULL DEFAULT NULL,
	`Religion` VARCHAR(10) NULL DEFAULT NULL,
	`Size [cm]` VARCHAR(10) NULL DEFAULT NULL,
	`Demodata` INT(1) NULL DEFAULT NULL,
	`Lactat clearance 1 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Bili [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt(est) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Samplemode` VARCHAR(6) NULL DEFAULT NULL,
	`Samplevolume [micl]` INT(3) NULL DEFAULT NULL,
	`OsmOpt [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
;

... csv.. .
"Starttime" "Endtime" "Samplecounter" "Sampletype" "Username" "Patient ID" "Lastname" "pH" "pCO2 [mmHg]" "pO2 [mmHg]" "Hct [%]" "Na [mmol/l]" "K [mmol/l]" "Ca [mmol/l]" "Cl [mmol/l]" "Glu [mg/dl]" "Lac [mmol/l]" "tHb [g/dl]" "SO2 [%]" "O2Hb [%]" "COHb [%]" "MetHb [%]" "HHb [%]" "Baro [mmHg]" "a/AO2 [%]" "Ri [%]" "Qs/Qt [%]" "a/AO2t [%]" "RIt [%]" "OER [%]" "avDO2 [vol%]" "BO2 [vol%]" "ctCO2(P) [mmol/l]" "p50 [mmHg]" "pAO2 [mmHg]" "a/ADO2 [mmHg]" "pAO2t [mmHg]" "a/ADO2t [mmHg]" "pCO2t [mmHg]" "Osm [mOsm/kg]" "MCHC [g/dl]" "SO2(c) [%]" "FO2HB" "pHt" "pHSt" "cHCO3 [mmol/l]" "BB [mmol/l]" "AG [mmol/l]" "cHCO3st [mmol/l]" "cH+ [nmol/l]" "Qt [vol%]" "ctCO2(B) [mmol/l]" "pO2t [mmHg]" "BE [mmol/l]" "BEecf [mmol/l]" "ctO2 [vol%]" "nCa2+ [mmol/l]" "cHt [nmol/l]" "BE(act) [mmol/l]" "PF Index [mmHg]" "Hctc" "Bloodtype" "Puncturesite" "Container" "Allentest" "Temperature [C]" "FiO2" "tHb(e)" "Date/Time drawn" "Specimen ID" "Accession Number" "Order ID" "RQ" "Medication" "Hb Factor" "Diagnosis" "OsmOptGap [mOsm/kg]" "Vent Mode" "VT [l]" "Urea_e [mmol/l]" "SRATE [br/min]" "Osmolality_e [mOsm/kg]" "Oxygenation device" "PEEP [cmH2O]" "CPAP" "PIP [cmH2O]" "MAP [cmH2O]" "Ti [sec]" "Te [sec]" "MV [l]" "ARATE [br/min]" "FLOWRATE [l/min]" "24h Urine [ml]" "Doctor" "accepted by" "Clinic" "Location" "Hospital Service" "Ward" "Department" "Danger code" "Diagnostic code type" "Billing code" "Comment" "Remark 1" "Remark 2" "Remark 3" "Remark 4" "Remark 5" "Firstname" "Middlename" "Maiden name" "Suffix" "Title" "Weight [kg]" "Birth_date" "Sex" "Age Level" "MaritalStatus" "Diet" "Isolation status" "Admision status" "Admission date/time" "Discharge date/time" "Changed date/time" "Insurance code" "Adress" "Patient language" "Ethnic origin" "Phone No" "Religion" "Size [cm]" "Demodata" "Lactat clearance 1 [%]" "Bili [mg/dl]" "Qs/Qt(est) [%]" "Samplemode" "Samplevolume [micl]" "OsmOpt [mOsm/kg]"
"07.01.19 07:34" "07.01.19 07:37" "4501" "Blood" "" "" "" "7,451" "38,5" "85,7" "24,3" "140,2" "3,76" "1,133" "107,2" "97" "1,2" "7,6" "99,0" "97,5" "1,2" "0,3" "1,0" "753,0" "" "" "" "" "" "" "" "10,5" "27,4" "16,9" "" "" "" "" "38,5" "280" "31,4" "97,0" "0,975" "7,451" "7,439" "26,3" "47,0" "10,6" "26,1" "35,4" "" "24,96" "85,7" "2,14" "2,28" "10,61" "1,16" "35,40" "2,75" "407,93" "0,23" "Unknown" "Unknown" "Capillary" "Unknown" "37,0" "0,21" "15,0" "" "" "" "" "0,84" "" "3,0" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "Unknown" "> 1 year " "" "" "" "" "" "" "" "" "" "" "" "" "" "" "0" "" "" "" "normal" "123" ""

..csv..

Написано более трёх лет назад

Артур К. @amark

Evgeny Kotov, Та же самая тема.

Эти три ячейки режутся из-за несовпадения типов. Я заменил их на varchar и всё стало хорошо.

Посмотрел на таблицу, и у меня возникло несколько замечаний.
Во-первых, некоторые поля таблицы имеют пробелы в названии.
Во-вторых, квадратные скобки и служебные символы.
Я бы рекомендовал привести поля таблиц "в порядок", хотя бы по этому гайду (если вдруг не зайдет — таких можно нагуглить еще много).
Кстати, единицы измерения можно перенести в комментарий к полю.

P/s Вижу, тут тема медицины или исследований? Очень сложная таблица получается. Надеюсь, она временная? Её бы разбить/нормализовать.

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Спасибо за информацию приму к сведенью.
Все получилось, в поисках ошибки разбил таблицу и переименовал столбцы. Ошибка была в кодировке csv.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

MySQL

Простой
Как в ходе распознавание номеров, записывать данные в БД, при этом исключить дубли?
- 2 подписчика
- 24 янв.
- 288 просмотров
4

ответа
MySQL

+2 ещё

Средний
Как реализовать базу данных таким образом чтобы для каждого клиента она была изолированной при этом было быстродействие (MYSQl)?
- 1 подписчик
- 24 янв.
- 154 просмотра
1

ответ
MySQL

Средний
Как обновить таблицу на основании таблицы полученной с помощью рекурсии?
- 2 подписчика
- 23 янв.
- 76 просмотров
1

ответ
MySQL

+1 ещё

Простой
Как подключиться Бд Битртрикс 24 через СУБД Mysql?
- 1 подписчик
- 23 янв.
- 96 просмотров
0

ответов
MySQL

+1 ещё

Простой
Как построить индекс в ElasticSearch с фильтрами по полям содержащим тысячи значений?
- 4 подписчика
- 23 янв.
- 352 просмотра
1

ответ
MySQL

+2 ещё

Средний
Как установить Eset protect на Ubuntu/Linux?
- 2 подписчика
- 23 янв.
- 182 просмотра
0

ответов
MySQL

Простой
Как удаленно подключится к Mysql? В чем моя ошибка?
- 1 подписчик
- 22 янв.
- 105 просмотров
2

ответа
MySQL

Простой
Можно ли запретить пользователю mysql просмотр определенных колонок таблицы?
- 2 подписчика
- 22 янв.
- 281 просмотр
2

ответа
PHP

+1 ещё

Простой
Ошибка 500 при попытке установки PunBB, как исправить?
- 1 подписчик
- 20 янв.
- 150 просмотров
1

ответ
PHP

+1 ещё

Простой
MySQL: как реализаовать поиска по нескольким вхождениям?
- 1 подписчик
- 15 янв.
- 135 просмотров
2

ответа
Показать ещё Загружается…

Senior PHP-разработчик

Communication Security Lab

от 300 000 ₽

PHP разработчик

Хабр • Москва

от 250 000 до 300 000 ₽

PHP/JS разработчик

ТехСофт

от 100 000 до 100 000 ₽

Разработка двух ботов , помощников Youtube , сео отпимизация и тд

28 янв. 2025, в 17:05

30000 руб./за проект

В поиске опытного HR менеджера

28 янв. 2025, в 17:00

5000 руб./за проект

Анимация Three js

28 янв. 2025, в 16:59

15000 руб./за проект

Answer 1 · 2019-01-30 01:10:00

Так поменяйте запрос:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY '_ТУТ ПОСТАВИТЬ ПРОБЕЛ_' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и укажите разделитель "пробел" вместо запятой

Как импортировать в MySql csv без разделителя и с пробелами?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт