Как импортировать в MySql csv без разделителя и с пробелами?

Question

Evgeny Kotov @eskotov

MySQL

Как импортировать в MySql csv без разделителя и с пробелами?

Уважаемые знатоки,

суть задачи такова: нужно автоматически импортировать фаил csv такого формата.

...
"Starttime" "Endtime" "Samplecounter" "pH" "ID"..........
"01.01.2019 23:00" "01.01.2019 23:01" "4501" "11" "12345"
...

импорт в excel работает безукоризнено можно сохранить с разделителем и импортировать примерно так:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

задача состоит в том что бы импортировать без предварительной обработки.

Вопрос задан более трёх лет назад
110 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 1

13 комментариев

Evgeny Kotov @eskotov Автор вопроса

Не все так просто. В ячейки с датой используеться пробел и все сдвигаеться.

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, они же обернуты в кавычки. Есть пример результата?

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Первая строка нормально так как было сделанно вручную через промежуточный excel

Написано более трёх лет назад
Артур К. @amark

Вот мой результат:

Из примера ваших данных:

Написано более трёх лет назад
Артур К. @amark

Evgeny Kotov, Первые "нулевые" строки — это "обрезанные" поля, из-за разногласий по типам.
От чего у меня возник вопрос: какая структура вашей таблицы? какие типы полей указаны???

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

Написано более трёх лет назад
Артур К. @amark

хм. У меня первые две колонки варчары были. хотя это не должно было бы повлиять

Написано более трёх лет назад

Артур К. @amark

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS  ENCLOSED BY '"' TERMINATED BY ' ' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и вот этот запрос

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Написано более трёх лет назад

Evgeny Kotov @eskotov Автор вопроса

Артур Э.,

CREATE TABLE `table 1` (
	`Starttime` VARCHAR(50) NULL DEFAULT NULL,
	`Endtime` VARCHAR(50) NULL DEFAULT NULL,
	`Samplecounter` VARCHAR(50) NULL DEFAULT NULL,
	`Sampletype` VARCHAR(5) NULL DEFAULT NULL,
	`Username` VARCHAR(50) NULL DEFAULT NULL,
	`Patient ID` VARCHAR(10) NULL DEFAULT NULL,
	`Lastname` VARCHAR(50) NULL DEFAULT NULL,
	`pH` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hct [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Na [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`K [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Ca [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Cl [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Glu [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Lac [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`tHb [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`O2Hb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`COHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`MetHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`HHb [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Baro [mmHg]` VARCHAR(5) NULL DEFAULT NULL,
	`a/AO2 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Ri [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`a/AO2t [%]` VARCHAR(10) NULL DEFAULT NULL,
	`RIt [%]` VARCHAR(10) NULL DEFAULT NULL,
	`OER [%]` VARCHAR(10) NULL DEFAULT NULL,
	`avDO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`BO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(P) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`p50 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2 [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pAO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`a/ADO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`pCO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Osm [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`MCHC [g/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`SO2(c) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`FO2HB` VARCHAR(10) NULL DEFAULT NULL,
	`pHt` VARCHAR(10) NULL DEFAULT NULL,
	`pHSt` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3 [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BB [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`AG [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHCO3st [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cH+ [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`Qt [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`ctCO2(B) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`pO2t [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`BE [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BEecf [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`ctO2 [vol%]` VARCHAR(10) NULL DEFAULT NULL,
	`nCa2+ [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`cHt [nmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`BE(act) [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`PF Index [mmHg]` VARCHAR(10) NULL DEFAULT NULL,
	`Hctc` VARCHAR(10) NULL DEFAULT NULL,
	`Bloodtype` VARCHAR(7) NULL DEFAULT NULL,
	`Puncturesite` VARCHAR(7) NULL DEFAULT NULL,
	`Container` VARCHAR(9) NULL DEFAULT NULL,
	`Allentest` VARCHAR(7) NULL DEFAULT NULL,
	`Temperature [C]` INT(2) NULL DEFAULT NULL,
	`FiO2` VARCHAR(4) NULL DEFAULT NULL,
	`tHb(e)` INT(2) NULL DEFAULT NULL,
	`Date/Time drawn` VARCHAR(10) NULL DEFAULT NULL,
	`Specimen ID` VARCHAR(10) NULL DEFAULT NULL,
	`Accession Number` VARCHAR(10) NULL DEFAULT NULL,
	`Order ID` VARCHAR(10) NULL DEFAULT NULL,
	`RQ` VARCHAR(4) NULL DEFAULT NULL,
	`Medication` VARCHAR(10) NULL DEFAULT NULL,
	`Hb Factor` INT(1) NULL DEFAULT NULL,
	`Diagnosis` VARCHAR(10) NULL DEFAULT NULL,
	`OsmOptGap [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Vent Mode` VARCHAR(10) NULL DEFAULT NULL,
	`VT [l]` VARCHAR(10) NULL DEFAULT NULL,
	`Urea_e [mmol/l]` VARCHAR(10) NULL DEFAULT NULL,
	`SRATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`Osmolality_e [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Oxygenation device` VARCHAR(10) NULL DEFAULT NULL,
	`PEEP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`CPAP` VARCHAR(10) NULL DEFAULT NULL,
	`PIP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`MAP [cmH2O]` VARCHAR(10) NULL DEFAULT NULL,
	`Ti [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`Te [sec]` VARCHAR(10) NULL DEFAULT NULL,
	`MV [l]` VARCHAR(10) NULL DEFAULT NULL,
	`ARATE [br/min]` VARCHAR(10) NULL DEFAULT NULL,
	`FLOWRATE [l/min]` VARCHAR(10) NULL DEFAULT NULL,
	`24h Urine [ml]` VARCHAR(10) NULL DEFAULT NULL,
	`Doctor` VARCHAR(10) NULL DEFAULT NULL,
	`accepted by` VARCHAR(10) NULL DEFAULT NULL,
	`Clinic` VARCHAR(10) NULL DEFAULT NULL,
	`Location` VARCHAR(10) NULL DEFAULT NULL,
	`Hospital Service` VARCHAR(10) NULL DEFAULT NULL,
	`Ward` VARCHAR(10) NULL DEFAULT NULL,
	`Department` VARCHAR(10) NULL DEFAULT NULL,
	`Danger code` VARCHAR(10) NULL DEFAULT NULL,
	`Diagnostic code type` VARCHAR(10) NULL DEFAULT NULL,
	`Billing code` VARCHAR(10) NULL DEFAULT NULL,
	`Comment` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 1` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 2` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 3` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 4` VARCHAR(10) NULL DEFAULT NULL,
	`Remark 5` VARCHAR(10) NULL DEFAULT NULL,
	`Firstname` VARCHAR(10) NULL DEFAULT NULL,
	`Middlename` VARCHAR(10) NULL DEFAULT NULL,
	`Maiden name` VARCHAR(10) NULL DEFAULT NULL,
	`Suffix` VARCHAR(10) NULL DEFAULT NULL,
	`Title` VARCHAR(10) NULL DEFAULT NULL,
	`Weight [kg]` VARCHAR(10) NULL DEFAULT NULL,
	`Birth_date` VARCHAR(10) NULL DEFAULT NULL,
	`Sex` VARCHAR(7) NULL DEFAULT NULL,
	`Age Level` VARCHAR(9) NULL DEFAULT NULL,
	`MaritalStatus` VARCHAR(10) NULL DEFAULT NULL,
	`Diet` VARCHAR(10) NULL DEFAULT NULL,
	`Isolation status` VARCHAR(10) NULL DEFAULT NULL,
	`Admision status` VARCHAR(10) NULL DEFAULT NULL,
	`Admission date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Discharge date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Changed date/time` VARCHAR(10) NULL DEFAULT NULL,
	`Insurance code` VARCHAR(10) NULL DEFAULT NULL,
	`Adress` VARCHAR(10) NULL DEFAULT NULL,
	`Patient language` VARCHAR(10) NULL DEFAULT NULL,
	`Ethnic origin` VARCHAR(10) NULL DEFAULT NULL,
	`Phone No` VARCHAR(10) NULL DEFAULT NULL,
	`Religion` VARCHAR(10) NULL DEFAULT NULL,
	`Size [cm]` VARCHAR(10) NULL DEFAULT NULL,
	`Demodata` INT(1) NULL DEFAULT NULL,
	`Lactat clearance 1 [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Bili [mg/dl]` VARCHAR(10) NULL DEFAULT NULL,
	`Qs/Qt(est) [%]` VARCHAR(10) NULL DEFAULT NULL,
	`Samplemode` VARCHAR(6) NULL DEFAULT NULL,
	`Samplevolume [micl]` INT(3) NULL DEFAULT NULL,
	`OsmOpt [mOsm/kg]` VARCHAR(10) NULL DEFAULT NULL
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
;

... csv.. .
"Starttime" "Endtime" "Samplecounter" "Sampletype" "Username" "Patient ID" "Lastname" "pH" "pCO2 [mmHg]" "pO2 [mmHg]" "Hct [%]" "Na [mmol/l]" "K [mmol/l]" "Ca [mmol/l]" "Cl [mmol/l]" "Glu [mg/dl]" "Lac [mmol/l]" "tHb [g/dl]" "SO2 [%]" "O2Hb [%]" "COHb [%]" "MetHb [%]" "HHb [%]" "Baro [mmHg]" "a/AO2 [%]" "Ri [%]" "Qs/Qt [%]" "a/AO2t [%]" "RIt [%]" "OER [%]" "avDO2 [vol%]" "BO2 [vol%]" "ctCO2(P) [mmol/l]" "p50 [mmHg]" "pAO2 [mmHg]" "a/ADO2 [mmHg]" "pAO2t [mmHg]" "a/ADO2t [mmHg]" "pCO2t [mmHg]" "Osm [mOsm/kg]" "MCHC [g/dl]" "SO2(c) [%]" "FO2HB" "pHt" "pHSt" "cHCO3 [mmol/l]" "BB [mmol/l]" "AG [mmol/l]" "cHCO3st [mmol/l]" "cH+ [nmol/l]" "Qt [vol%]" "ctCO2(B) [mmol/l]" "pO2t [mmHg]" "BE [mmol/l]" "BEecf [mmol/l]" "ctO2 [vol%]" "nCa2+ [mmol/l]" "cHt [nmol/l]" "BE(act) [mmol/l]" "PF Index [mmHg]" "Hctc" "Bloodtype" "Puncturesite" "Container" "Allentest" "Temperature [C]" "FiO2" "tHb(e)" "Date/Time drawn" "Specimen ID" "Accession Number" "Order ID" "RQ" "Medication" "Hb Factor" "Diagnosis" "OsmOptGap [mOsm/kg]" "Vent Mode" "VT [l]" "Urea_e [mmol/l]" "SRATE [br/min]" "Osmolality_e [mOsm/kg]" "Oxygenation device" "PEEP [cmH2O]" "CPAP" "PIP [cmH2O]" "MAP [cmH2O]" "Ti [sec]" "Te [sec]" "MV [l]" "ARATE [br/min]" "FLOWRATE [l/min]" "24h Urine [ml]" "Doctor" "accepted by" "Clinic" "Location" "Hospital Service" "Ward" "Department" "Danger code" "Diagnostic code type" "Billing code" "Comment" "Remark 1" "Remark 2" "Remark 3" "Remark 4" "Remark 5" "Firstname" "Middlename" "Maiden name" "Suffix" "Title" "Weight [kg]" "Birth_date" "Sex" "Age Level" "MaritalStatus" "Diet" "Isolation status" "Admision status" "Admission date/time" "Discharge date/time" "Changed date/time" "Insurance code" "Adress" "Patient language" "Ethnic origin" "Phone No" "Religion" "Size [cm]" "Demodata" "Lactat clearance 1 [%]" "Bili [mg/dl]" "Qs/Qt(est) [%]" "Samplemode" "Samplevolume [micl]" "OsmOpt [mOsm/kg]"
"07.01.19 07:34" "07.01.19 07:37" "4501" "Blood" "" "" "" "7,451" "38,5" "85,7" "24,3" "140,2" "3,76" "1,133" "107,2" "97" "1,2" "7,6" "99,0" "97,5" "1,2" "0,3" "1,0" "753,0" "" "" "" "" "" "" "" "10,5" "27,4" "16,9" "" "" "" "" "38,5" "280" "31,4" "97,0" "0,975" "7,451" "7,439" "26,3" "47,0" "10,6" "26,1" "35,4" "" "24,96" "85,7" "2,14" "2,28" "10,61" "1,16" "35,40" "2,75" "407,93" "0,23" "Unknown" "Unknown" "Capillary" "Unknown" "37,0" "0,21" "15,0" "" "" "" "" "0,84" "" "3,0" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "" "Unknown" "> 1 year " "" "" "" "" "" "" "" "" "" "" "" "" "" "" "0" "" "" "" "normal" "123" ""

..csv..

Написано более трёх лет назад

Артур К. @amark

Evgeny Kotov, Та же самая тема.

Эти три ячейки режутся из-за несовпадения типов. Я заменил их на varchar и всё стало хорошо.

Посмотрел на таблицу, и у меня возникло несколько замечаний.
Во-первых, некоторые поля таблицы имеют пробелы в названии.
Во-вторых, квадратные скобки и служебные символы.
Я бы рекомендовал привести поля таблиц "в порядок", хотя бы по этому гайду (если вдруг не зайдет — таких можно нагуглить еще много).
Кстати, единицы измерения можно перенести в комментарий к полю.

P/s Вижу, тут тема медицины или исследований? Очень сложная таблица получается. Надеюсь, она временная? Её бы разбить/нормализовать.

Написано более трёх лет назад
Evgeny Kotov @eskotov Автор вопроса

Артур Э., Спасибо за информацию приму к сведенью.
Все получилось, в поисках ошибки разбил таблицу и переименовал столбцы. Ошибка была в кодировке csv.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

PHP

+1 ещё

Простой
Почему аутентификация возвращает форму авторизации?
- 1 подписчик
- 21 час назад
- 73 просмотра
1

ответ
PHP

+1 ещё

Простой
Как передать имя таблицы как параметр?
- 2 подписчика
- 27 нояб.
- 139 просмотров
5

ответов
MySQL

+1 ещё

Средний
Как создать дизайн базы данных для блог сайта?
- 1 подписчик
- 25 нояб.
- 104 просмотра
1

ответ
MySQL

+2 ещё

Средний
Почему падает соединение с mysql за nginx?
- 3 подписчика
- 19 нояб.
- 197 просмотров
0

ответов
MySQL

+3 ещё

Простой
Как запустить приложение на SpringBoot с MySql и Docker Compose?
- 1 подписчик
- 17 нояб.
- 108 просмотров
0

ответов
WordPress

+2 ещё

Простой
Как перенаправить все select запросы из wp mysql в clickhouse?
- 1 подписчик
- 16 нояб.
- 119 просмотров
0

ответов
PHP

+1 ещё

Простой
Переподключение PHP к MySQL как правильно организовать?
- 1 подписчик
- 14 нояб.
- 178 просмотров
2

ответа
PHP

+2 ещё

Средний
Как отладить обновление строки, залоченой SELECT FOR UPDATE в MySQL8?
- 6 подписчиков
- 10 нояб.
- 529 просмотров
0

ответов
Python

+1 ещё

Простой
Как настроить подключение к MySQL из Python?
- 1 подписчик
- 09 нояб.
- 240 просмотров
1

ответ
PHP

+1 ещё

Простой
Как в php получить Последнее значение из таблицы mysql определенной даты даты?
- 1 подписчик
- 06 нояб.
- 144 просмотра
1

ответ
Показать ещё Загружается…

Senior PHP Программист

Автомакон

от 287 000 до 440 000 ₽

Администратор PostgreSQL

Гринатом

До 200 000 ₽

PHP Backend developer

Wanted. • Москва

До 200 000 ₽

Доработать тапалку в телеграм

02 дек. 2024, в 01:57

10000 руб./за проект

Черно белые эскизы обводки с референсов

02 дек. 2024, в 01:23

2000 руб./за проект

Анализ данных из эндпоинтов API маркетплейса

02 дек. 2024, в 00:37

1000 руб./за проект

Answer 1 · 2019-01-30 01:10:00

Так поменяйте запрос:

LOAD DATA LOCAL INFILE 'C:\meas_13640_20190107T152906.csv' INTO TABLE `table 1` FIELDS TERMINATED BY '_ТУТ ПОСТАВИТЬ ПРОБЕЛ_' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

и укажите разделитель "пробел" вместо запятой

Как импортировать в MySql csv без разделителя и с пробелами?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт