Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

mayton2019,

Но для логгирования событий ПРИЛОЖЕНИЯ типа нужно их писать не очень часто но с гарантией что sync на диск сработал.

Ну это если речь про пользовательское приложение в виде бинарника на компе. А раз речь идет про Logstash и Grafana подразумевается скорее логирование работы сетевого сервиса, где писать может оказаться надо часто и много.
И, нисколько не агитирую за Клик для этого. Но, чисто теоретически.
"Где гарантия что последние актуальные записи в логе попали в ClickHouse?"
Там же где она при любой записи в СУБД. Какая разница в какую СУБД будет писать парсер файлов логов? Все будет зависеть от того, как он проверяет.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

dmvlch_dev, grafana prometheus это про сбор логов в виде метрик и построение графиков по ним. Т.е. это не про текстовые логи.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

mayton2019, да, для логирования событий приложения несколько непривычное решение. Но если писать в файл, а затем из него кидать в Клик, то чем это будет отличаться от решения на основе Elastic. Вопрос только насколько резвым будет полнотекстовой поиск.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

mayton2019, так речь про то, что не получится напрямую записывать каждую строчку в Клик, как только она появилась? Ну если "раз в несколько секунд", то можно и напрямую, но вообще это не проблема, можно писать опосредовано, хоть через файлы, хоть через очереди.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

dmvlch_dev,

как организовать UI в Grafana, есть ли какие то готовые решения что бы не пилить с нуля "интерфейс".

Если нужна Grafana, то почему Click, а не Prometheus?

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

mayton2019,

Вставка по 1 строке например раз в несколько секунд с фиксацией - будет не благоприятным режимом работы для кликхауса

А что неблагоприятного? Какая разница что это 1 строка?
Или имеется ввиду, что "несколько секунд" это мало? - совсем не обязательно, в зависимости от типа движка и сегментации, наличия обновлений/удалений вполне может хватать и "несколько секунд".

Неверные символы при копировании?

Скорее всего в Word это цифры из расширенного набора UTF, а при попытке их перенести в блокнот они конвертируются в одну из убогих кодировок Windows и получаем, то что получаем.

Как организовать автодеплой на сервер в закрытом контуре?

Евгений Хлебников, зря ерничаете, нормальный - это значит общепринятый. То, что употребляют все, просто чтобы было удобнее. Разворачивать можно и ПО, но в данном контексте деплой всем понятнее. А теги... ну потому что здесь они называются теги.
А вот обсуждаемое слово, похожее на ругательство, я тоже охренел пытаясь понять что оно значит, когда первый раз увидел.

Как выполнить любую функцию php и всегда получить true?

psiklop, самое простое и самое верное решение, это написать
func();
если вам не нужен вывод функции. А вставлять в условие то, что не должно и не будет проверяться - это издевательство над здравым рассудком.
И откуда столько желающих дать вредный совет?..

Почему при полностью идентичном содержимом файлов (*.js, *.php, *.css) они могут иметь разный вес/размер?

sheldon_coop,

Я даже попытался сравнить через Git, создал проект с моей папкой плагина, затем заменил все на плагин из GitHub. Сначала гит показал что изменено более 300 файлов, но при попытке закоммитить выдал ошибку - нет изменений.

Git увидел, что файлы разные, о чем и предупредил. Но после преобразования переводов строк изменений уже нет.
Проверьте какая политика преобразования переводов строк используется в git.

Это как?

для начала хоть глазами в любом hex редакторе.

Почему при полностью идентичном содержимом файлов (*.js, *.php, *.css) они могут иметь разный вес/размер?

Как такое может быть, и разобраться в этом?

Например разные переводы строк в linux и windows.

Как реально узнать почему файлы имеют разных вес/размер?

Сравнить побайтно.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

multisu, про использование кластеризованного ключа в разных СУБД вы верно поправили, я был неправ.
Но я попрежнему не понимаю это:

1 индекс на таблицу обязательно. Даже если в запросе нет условия по индексу, план выполнения строится оптимальнее, запросы работают быстрее.

Или вы про джойн таблиц, одна из которых без кластеризованного индекса и без индекса на pk? Ну это просто ошибочное использование, а индекс в такой ситуации еще как используется.

А вот в PG можно кластеризовать в моменте таблицу по любому индексу, но он не станет из-за этого кластерным. Поэтому в PG партиционирование приходилось делать на относительно небольших таблицах, в несколько млн., которые MS или oracle переваривают без проблем.

Т.е. кластеризованный индекс деградирает меньше при увеличении колва строк?
Не думаю, что это связано с индексами, скорее с другими механизмами, например vacuum.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

Сергей Сахаров,

понимание. Список улиц будет сильно меньше, а выбор улицы по индексу - логичнее

Да, в этом случае занимаемый объем на диске будет меньше, скорее всего...
Но индекс тут причем? Добавляя индекс мы наоборот увеличиваем занимаемый объем, и ведь цель другая.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

Сергей Сахаров,

Второй вариант хрестоматийной задачи. Тоже телефонный справочник: телефон, ФИО, адрес.
Рассмотри размер БД в таком случае и в случае, когда список улиц вынесен в отдельную таблицу.

А чем это поможет автору с его вопросом?

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

Everything_is_bad,

да где такое написано? как можно было прийти к такой дичи?

Автор прочитал, что для быстрой сортировки по большой таблице нужен индекс по полю. Автору нужно сортировать по всем полям таблицы. Вывод - нужно вешать индексы на все поля. Если не так, то почему же никто не скажет как нужно?

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

multisu,

в теории да. Но по опыту, в MS и PG быстрее, особенно если запрос возвращает множество записей. В oracle быстрее не будет, там вроде индекс в системных полях по дефолту присутствует.

Здесь, как и чаще всего под индексом подразумевается отдельный от таблицы объект в базе данных для ускорения выборки. Вы же пишите про первичный ключ, это совсем другой вопрос, первичный ключ нужно создавать всегда, некоторые СУБД создают его автоматически, если пользователь этого не сделал, некоторые нет - разрешают "стрелять себе в ноги".
И, собственно любая нормальная таблица, т.е. с первичным ключом - это и есть кластеризованный индекс, хоть в PG, хоть в MS.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

Antix25,

Автор вообще в курсе, что оптимизация и ставит целью снижение нагрузки на БД?

"Нагрузка на БД" это очень абстрактно.
После добавления индексы, у вас при insert и update по сути будет вставка не в 1 таблицу, а в 2, нагрузка на БД выросла? конечно, выросла.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

mitaichik,

А чем индекс помагает, если нет условия по нему? Почему план выполнения строится оптимальнее?

Ни чем, в таком случае он не нужен, и оптимизатор просто проигнорирует этот индекс, и разумеется ничего быстрее не заработает.

Кто нибудь объясните мне про индексы в БД, я не вижу в них никакого смысла?

diman2000,

Если вся база целиком помещается в буферный кэш - да, данные могут читаться довольно быстро без индекса. Но обычно на это нет расчёта.

обычно именно на это и расчет, если большинство читаемых данных не помещаются в память, то о какой-либо производительности можно забыть. В современном мире чтение с диска считается очень медленной операцией.

mitaichik,

лучше хотя бы такой индекс, который откинет чтение пол таблицы, чем никакой

вряд ли, это очень низкая селективность, и скорее всего будет эффективнее прочитать всю таблицу, т.к. это последовательное чтение, чем через индекс выискивать каждый нужный id персонально.

Как выполнять отладку на php?

galliard, не вижу как это помешает автору... Ладно бы еще вопрос цены, но какая разница что проприетарный? А если цена не проблема, то PHPStorm лучший выбор, это уже давно стандарт в php-разработке.