Как передать информацию из текстового файла на сервер?

Question

[onoff01]

На разных компах программа генерирует txt файл, куда записывает "логи" - что делает, как делает,когда делает и т.д. На каждом компе свой txt файл и все пк находятся в одной локальной сети.
Вопрос - как можно реализовать сбор информации из этих текстовых файлов в реальном времени в одном месте? (допустим сохранять в в одном текстовом файле на локальном сервере).
Смотрю варианты реализации на python, node js.

Comments

[Дмитрий]

Грузите на фтп

[onoff01]

Дмитрий, ФТП это хорошо. Вопрос скорее "на чем" и "как" написать скрипт, который будет парсить эти тестовые файлы на фтп.

[Дмитрий]

onoff01, да на чем умеете, на том и пишите, на питоне вполне можно

[Дмитрий]

Ещё вариант писать в базу в одну со всех компов

[onoff01]

Дмитрий, В том то и проблема, что я начинающий в этих вопросах. Пытаюсь найти готовое или полу готовое решение,чтобы попробовать его применить на практике

[Дмитрий]

onoff01, ну если запросы не частые, ну скажем не 100 штук в секунду, то можно развернуть базу на одном компе, и например слать эти тхт на сервер и добавлять в базу по крону, чтобы не перепиливать логи везде, а добавить отправку по тому же крону на каждый клиент, потом например эти файлы посуточно заносить в базу

Answer 1

[Николай Савельев]

через POST-запросы

Answer 2

[Владимир Куц]

В такой постановке задачи справится и однострочник на баше:

cat inp001.txt | ssh -i somekey.key [e-mail] "cat >> /tmp/out001.txt"

А так есть еще множество способов - посредством АПИ через post-запросы, через некоего посредника очереди сообщений, посредством передачи через ftp и прочее...

Comments

[Vitsliputsli]

ну ничего себе однострочник, два ката, конвейер. почему бы просто не скопировать? scp?

[Владимир Куц]

Vitsliputsli, тут дописывание в /tmp/out001.txt, и этот однострочник может запускаться не на одном сервере и собирать инфу с нескольких точек, и не копировать многометровые логи каждый раз. Для тех кто в танке - с левой стороны cat <файл> указан в качестве примера, и его можно заменить каким-нибудь tail либо другой последовательностью команд, которая генерирует текстовый пайплайн в зависимости от поставленных задач.

Думаю, - все-таки лучше передавать несколько последних строчек из лога, вместо копирования файла на пару-тройку гигабайт каждый раз.

[Vitsliputsli]

Владимир Куц,

Для тех кто в танке - с левой стороны cat <файл> указан в качестве примера, и его можно заменить каким-нибудь tail либо другой последовательностью команд, которая генерирует текстовый пайплайн в зависимости от поставленных задач.

да, не догадался, что подразумевалось. Тогда еще для "тех кто в танке", когда это команда "отвалится", как ее заново запустить и не потерять данные?
И я так понимаю, у каждого пользователя будут доступы по ssh к серверу?

[Владимир Куц]

Vitsliputsli, мы еще не видели ТЗ, а вы уже фантазируете ) а если ориентироваться на собственно вопрос - то проблема приведенным скриптом вполне решается.

когда это команда "отвалится", как ее заново запустить и не потерять данные?

Можно запускать периодически, и просто контролировать метку до какого момента передавали в предыдущий раз.

И я так понимаю, у каждого пользователя будут доступы по ssh к серверу

Зачем? Создаете спец, пользователя с зарезанными правами, и от него запускаете. И каких пользователей имеете в виду? Админ сервера?
К тому же можно сделать по-другому - инициатор - удаленный сервер, который удаленно будет соединяться и забирать порцию лога.
Опять таки - зависит от ТЗ и задач.