Александр:
ага... значит родной шаблон используете. тогда предлагаю следующий план - после grok добавляем тест
if [URIPATH] !~ "download" {
mutate {
add_field => { "type" => "not_download" }
}
}
и в разделе output также добавляем проверку:
if [type] == "not_download" {
elasticsearch { ... }
}
т.е. мы проверим, что в пути нет слова download, и если его нет - определим тип записи. В ES запишутся только строки, у которых тип "not_download"
Александр: ох... ладно, комментировать "людей, которые пытаются продать" не буду. Ну и с советами поостерегусь. Скажем так, при условии, что руководство одобрит риск отсутствия поддержки ПО, и при условии наличия знаний в линуксах, я бы мигрировал на фришное решение. Коллектора есть, они работают. С хранением все несколько сложнее - но вот тут и понадобятся руки. Есть решения готовые, есть "конструкторы" , можно вообще сделать что-то совсем свое. Из конструкторов не могу не вспомнить ELK.
Александр: давайте так, Вы выложите часть filter конфига от логсташа и 2 строки с логами - которую надо и которую НЕ надо обработать, а я постараюсь Вам помочь. Пока grok выглядит нормально. Хотя эти кавычки....
Александр: это не совсем ответ. Вас не устраивает используемое Вами решение - и? Вы хотите его поменять на иное? или сделать так, чтобы текущее работало быстро?
Учтите, чудеса, конечно, под Новый Год случаются, но 1Тб данных это 1Тб данных. Сервер, как я понимаю, у вас 1 - т.е. он и пишет и строит отчет. 1Тб/мес - это, если мне не изменяет моя математика за 3 класс, почти 24Мб в секунду в среднем. Плюс никто не знает, как устроена Ваша ДБ, какие такм индексы. Плюс не совсем понятно, что за отчет Вы планируете строить.
Некоторый итог: у вас есть претензии к анализатору, к коллектору вроде претензий нет. Поменять и то и другое можно - но вот эффект будет неоднозначный. Морально готовьтесь, если Вы планируете хранить и строить отчет по 60Тб данных, то " i7 4790 16Гб RAM" звучит не очень серьезно.
ipswitch: карта привязана к счету в клиринге. счет в клиринге, опосредованно, к счету в банке. Когда вы переводите деньги на карту - они падают на счет в банке, а уже оттуда на карту. Как, по Вашему, "Visa" узнает о поступлении денег?
Алексей Николаев: и по поводу "сложно уволить если устраиваешься официально". Зависит от квалификации HR и того, как составлено задание на испытательный срок. Остаться в организации, которая очень хочет вас уволить, безусловно можно. Но вот выиграете ли вы от этого - большой вопрос. Думаю, термин "жить по уставу" знаком всем.
Алексей Николаев: не идите на 70К, кто вас заставит? Согласен, что ситуации "было 60, вилка 70-100, хочет 100" и "было 80, вилка 70-100, хочет 100" - это разные ситуации. Ну так не говорите о старом окладе, аргумент "подписал согласие о неразглашении" вполне себе аргумент. Я это и называю "подготовится к собеседованию", вопрос о ожидаемом доходе звучит на подавляющем большинстве собеседований - иметь вменяемый аргументированный вопрос на этот ответ очень полезно.
