Оптимизация EventLog?

Question

[soks]

Всем привет!

Возникла проблема в оптимизации вычитки из системного лога:

имеется over 100.000 записей, их необходимо вычитать, обработать и вывести на UI. Если брать записи «в лоб», то сначала отображаются самые старые, в этом случае помогает Linq и .Reverse(), что, естественно, просто чудовищно сказывается на перфомансе.

Быть может кто-нибудь подскажет как забрать сначала самые актуальные данные?


Заранее благодарен!

Comments

[kefirr]

1) В каком формате лог? Просто файл? Не обязательно весь файл читать.
2) Где именно узкое место? Чтение лога или вызов Reverse? Профайлер запускали?
В общем, надо определить сначала, где конкретно проблема.

[soks]

Спасибо за уточнения :)
Вычитываю я из системного лога событий (Event Log). Программа несколько повторяет функционал виндового Event Viewer-а.
Узкое место, на сколько я смог понять, это именно Reverse(). Вычитываю я не полностью весь лог, а через тот же Linq, по 100 записей в подходе. Проблема в том, что без использования Reverse() вычитываются сначала 100 самых старых записей, что, понятное дело, не особо удобно для пользователя.
Для большего понимания, скину код, которым поднимаю записи:

using (var eventLog = new EventLog(logName))
            {
                events = new EventsList(logName);
                foreach (var entry in eventLog.Entries.OfType<EventLogEntry>().Reverse().Take(100))
                {
                    events.Events.Add(entry);
                }
                return events; 
            }

Буду премного благодарен за помощь.

Answer 1

[kefirr]

У меня 63к записей, тормозит именно чтение целого лога. А Reverse именно прочитает всё и начнёт возвращать с конца. Доступ к отдельным записям по индексу быстрый.

Используйте Count и доступ по индексу.
Если хочется LINQ — вот, например, метод, перечисляющий записи с конца.

public static IEnumerable<EventLogEntry> EnumerateLatestLogEntries()
{
	var entries = new EventLog("System").Entries;
	for (var i = entries.Count-1; i>=0;i--)
	{
		yield return entries[i];
	}	
}

Но если нужен именно UI, отображающий события (список там или грид), то нужно думать о виртуализации данных. То есть, например, подгружать записи из лога по мере скроллирования.

Comments

[kefirr]

Вообще, конечно, такие вопросы лучше на stackoverflow задавать — намного быстрее и лучше ответят.

[soks]

Огромное спасибо, именно так я и поступлю!

Answer 2

[Николай Турнавиотов]

Я бы кешировал все записи как-то у себя периодически в базу и развлекался уже с ними…
Опять же, 2998 сервр умеет по приходу нового события в журнал генерить письмо или еще как админа уведомлять — это тоже можно использовать, что бы не держать машину каждый раз