Как массово заполнить таблицу?

Question

[Chesterfield25]

Есть полностью пустая таблица, как сделать массовое заполнение из текстового файла?


Есть база слов https://github.com/hermitdave/FrequencyWords/blob/...
которую нужно заполнить в выше указанную таблицу цифровые значение в пол freq а слова в поле word, как это сделать?

Answer 1

[Сергей c0re]

Если совсем все сложно с решением выше, хотя оно рабочее (пробуйте разные редакторы, выбирайте какой вам больше подойдет, читайте про регулярные выражения, я не знаю как без них вообще жить ))))

делайте все из командной строки - скачайте утилиты командной строки sqlite - https://www.sqlite.org/download.html
Precompiled Binaries for Windows
sqlite-tools-win32-x86-3410000.zip
распаковываете утилиты куда вам удобно, прописываете в переменную PATH, ну или например распакуйте в c:\bin

копируете файл в папку с вашей бд sqlite
далее запускаете sqlite3.exe в 'этой папке (в консоли, в командной строке!) указывая ему вашу БД, например

sqlite3.exe my_example_db.sqlt

далее в командной строке самой sqlite пишете

create table ru_word (word varchar(100), freq INT);

PS: порядок полей такой, потому что в файле такой порядок и он грузится как есть, для БД порядок не важен.
далее

далее указываете сеператор (разделитель полей в текстовом файле)
.separator " "
грузите файл в таблицу
.import ru_50k.txt ru_word

все!

в итого будет примерно так (в командной строке!):

: переходим в папку с БД, там же должен быть файлru_50k.txt
cd C:\tmp

: открываем БД в sqlite3
c:\bin\sqlite3.exe my_example_db.sqlt
SQLite version 3.41.0 2023-02-21 18:09:37
Enter ".help" for usage hints.
sqlite> create table ru_word (word varchar(100), freq INT);
sqlite> .tables
ru_word
sqlite> .separator " "
sqlite> .import ru_50k.txt ru_word
sqlite> SELECT count(*) FROM ru_word;
50000
sqlite> SELECT MAX(freq) FROM ru_word;
3854593
sqlite> SELECT * FROM ru_word LIMIT 10;
я 3854593
не 3244771
что 2665565
в 2212420
и 2179689
ты 2067418
это 1999607
на 1240437
с 1128276
он 966203
sqlite> .quit

PPS: научитесь пользоваться поиском, например загрузка csv в sqlite и т.п. и т.д. etc

Comments

[Сергей c0re]

Chesterfield25 , ответ решает проблему?

Answer 2

[Adamos]

Берешь блокнот, умеющий регулярки, превращаешь (\w+) (\d+) в ('$1', $2),.
Добавляешь первой строчкой команду INSERT - и загоняешь этот запрос в базу через то, через что с ней в принципе общаешься.

Comments

[Chesterfield25]

Работаю в Sqliteman. Командой ниже я задолбаюсь ставить запятые

INSERT INTO название_таблицы (поле1, поле2 ... ) VALUES (значение1, значение2 ...)

[Adamos]

Chesterfield25, ну вот, первую строчку сам знаешь. Как заполнить следующие - см. выше.

[Chesterfield25]

Adamos, я если честно нечего не понял

[Adamos]

Chesterfield25, а я, если честно, даже не представляю, что тут нужно объяснять. Что такое регулярка?..

[mayton2019]

Chesterfield25, тебе отвечают исходя из предположения что ты - разработчик. Регулярка - это просто механизм поиска в тексте похожих шаблонов. А вот чтоб сделать действие - нужны умные среды разработки, блокноты или grep/sed/aws утилиты или ... язык программирования. Как видишь - арсенал у нас огромен. И когда ты говоришь что ничего не понял - мы тоже тебя не поняли. Ты проясни свой левел. И мы уже подберем для тебя тулчейн как это сделать.

[Chesterfield25]

mayton2019, Кроме простых запросов по типу удаления, добавления и обновления я нечего не знаю про утилиты вообще первый раз слышу, а с данной базой данных первый раз работаю, пару дней.

[mayton2019]

Chesterfield25, скачай себе редактор Atom. Потом скажу что делать.

[Chesterfield25]

mayton2019, есть

[mayton2019]

Chesterfield25, открой в нем свой текстовый файл и покажи маркером что какие поля надо выбрать. Скриншот сделай.

[Chesterfield25]

mayton2019,

Поле где цифры нужно добавить в колонку с именем freqа поле где слова в колонку word

[mayton2019]

Нажим Alt -> Find -> Replace In Buffer.

Далее я буду в дороге. Надеюсь Adamos поможет тебе закончить процедуру.

[Adamos]

Я по Атому наизусть вести не могу, не пользуюсь.
Смысл в том, чтобы выбрать замену по регулярному выражению (regex) и в поле шаблона указать первый из тех, что я привел в вопросе, а в поле замены - второй.

Да, собственно, в любом текстовом редакторе можно сделать замену перевода строки на закрывающую скобку, запятую, перевод строки, открывающую скобку и кавычку, потом замена пробела на кавычку, запятую и пробел - и, считай, все готово...

[mayton2019]

Ну вот find:
([\u0430-\u044f]+) (\d+)

И вот replace:
insert into tab1(freq, word) values('$1', '$2');

Справа нажать кнопочку "Regex" и опцию "case insensitive". В данном случае вместо диапазона букв от А до Я я использовал коды символов в Unicode т.к. чорт его знает русифицирован ли Atom и его плагины.

[Chesterfield25]

mayton2019,

[Adamos]

mayton2019, зачем же превращать каждую строку в insert?
Достаточно указать его первой строкой, а в следующих просто дать значения через запятую.

[mayton2019]

Включи кнопочку со зведочкой. Регуляка.

[Chesterfield25]

mayton2019, После замены всех строк сходу виснет вся программа и сохранить нечего не могу

[mayton2019]

Chesterfield25, дружище Честерфилд.

Я тебе дал направление. Я тебе показал как автоматизировать замену.

Дальше - сам. Возьми другие редакторы (тысячи их). Возми Notepad, Sumlime, VSCode.

Я не буду заниматься твоим обучением ОК? Попробуй сам.

[Сергей c0re]

Chesterfield25, редактор Notepad++, открываешь файл, делаешь что Adamos написал.
Atom на очень больших файлах мегатормоз, а так в целом норм.

у Notepad++ в строке заменить вместо $ ставишь обратную косую черту \
Найти: (\w+) (\d+)
Заменить: \('\1', \2\),

вроде так и после первой строкой ставишь INSERT ...
а в конце заменяешь последнюю запятую на ;