Как загрузить данные из текстового файла в базу данных ArangoDB?

Question

[Александр Вишнев]

Имеется текстовый файл(точнее несколько сотен файлов, по 1ГБ+- каждый) с содержимым формата:
name|text
Пример:
Лошадь|Не ела и не курила
Розетка|Бездушна как всегда
Насос|Тоже человек

Пробовал JSON конвертер "DTM Text to JSON Converter", но он не в таком формате выдает...

Вот как должен выглядеть JSON для ArangoDB:

[
  {
     "name":"Насос"
    ,"text":"Тоже человек"
  },
  {
     "name":"Розетка"
    ,"text":"Бездушна как всегда"
  },
  {
     "name":"Лошадь"
    ,"text":"Не ела и не курила"
  }
]

Answer 1

[d'Ivan]

Преобразовать в CSV и импортировать.

Comments

[Александр Вишнев]

Text -> csv -> json -> arangodb ?

[d'Ivan]

Александр Вишнев, Аранго понимает формат csv, в котором 1-я строка (заголовок) должна содержать имена атрибутов.

[Александр Вишнев]

Роман Мирр, попробовал CSV. Не загружает в таком формате.
Хотя на сайте есть информация, что поддерживает.
https://docs.arangodb.com/3.2/Cookbook/Administrat...

"name","text"
"Лошадь","Бездушна как всегда"

Нашел программу CSVConverter, и с её поимощью текст сконвектировал в json. Вот только опять криво. Может кто-нибудь подскажет, как в этой программе отключить добавление "ID:" для каждой строки?

[d'Ivan]

Александр Вишнев,

попробовал CSV. Не загружает в таком формате.

Покажи какие-то логи. Я же не телепат!

[Александр Вишнев]

Роман Мирр, загрузился. До этого пробовал через web интерфейс загружать, а теперь через >arangoimp --file --type csv.

Не подскажите, почему после загрузки 300 МБ файла в ArangoDB, уже сутки висит надпись "Fetching documents... " при заходе в коллекцию? При этом озу загружена на 12GB (всего 16GB). Процессор вообще не задействован.

[d'Ivan]

Александр Вишнев,

До этого пробовал через web интерфейс загружать

В веб-интерфейсе мог быть макс. предел допустимого размера загружаемого файла, которого нет при использовании утилиты.

Не подскажите, почему после загрузки 300 МБ файла в ArangoDB, уже сутки висит надпись "Fetching documents... " при заходе в коллекцию?

стоит задать это как отдельный вопрос на Тостере.

Answer 2

[Алексей Черемисин]

Держите, на питоне3

import sys
import json

notFirst = False

print("[") # start json  array
for data in sys.stdin:
   (name,text) = data.strip().split("|") # split line
   obj = dict(name=name, text=text)  # to dict()

   if notFirst: # avoid first comma for object
     print(",",  end='')
   print(json.dumps(obj, ensure_ascii=False)) # dump json object
   notFirst = True

print("]") # end json array

Сохраняете в файл и делаете так

cat mydatafile.txt | python3 txttojson.py > mydatafile.json

Получаете валидный json

[
{"text": "Не ела и не курила", "name": "Лошадь"}
,{"text": "Бездушна как всегда", "name": "Розетка"}
,{"text": "Тоже человек", "name": "Насос"}
]

Comments

[Александр Вишнев]

cat mydatafile.txt | python3 txttojson.py > mydatafile.json

Спасибо, под никсами работает!
Но как его под виндой выполнить?

[Алексей Черемисин]

Александр Вишнев, завтра утром перепишу...

[Александр Вишнев]

Алексей Черемисин, всё, разобрался.

Под Winдой такой командой обработалось:
type file.txt | python jss.py > mydatafile.json

[Алексей Черемисин]

Александр Вишнев, можно было бы полностью в память прочитать и одной командой записать, но так как файлы у Вас большие, а заставлять ставить дополнительные пакеты под питон не хотелось, то сделал так.