Сниффер. Как понять, что именно пользователь сделал запрос?

Question

[NeonMercury]

Разрабатыываем сниффер сетевых пакетов. Может вытащить host из HTTP-заголовка и сохранить посещённый сайт. Но если пользователь заходит, например, на habrahabr.ru, то помимо хоста habrahabr.ru запрашивается ещё habrastorage.org (и это логично, так как часть картинок из какого-нибудь поста там хранятся) и много-много других хостов, куда пользователь даже не хотел заходить.

Вот в этом и заключается весь вопрос: как отфильтровать тот хост, куда заходит пользователь, от того, что запрашивает браузер для загрузки дополнительного контента? Более того, есть необходимость вести статистику и если произойдёт 10 запросов к одному хосту (а пользователь только-только открыл страницу), то надо сделать лишь одну запись в лог (чтобы не сбивать статистику посещения сайтов).


Был вариант смотреть время последнего запроса и если оно меньше N секунд, то не добавлять новый хост в лог, так как скорее всего это автоматический запрос. Но это костыль, так как: (а) у пользователя может быть медленное соединение, (б) не спасает от ситуации: «Откроем интернет-магазин, быстренько откроем 25-100 вкладок а потом изучим товар».


Надеюсь на хабрасообщество, так как неделя поисков в гугле, stackoverflow и подобных сайтах ничего толком не дали.

PS: Сниффер корпоративный

PPS: Если помимо сниффера надо будет применить какие-либо ещё технологии — не проблема.

Answer 1

[Сергей Галкин]

В полных страницах есть всякие обязательные типа «head» и «body», которых нету в подгружаемых кусочках. Может вам и определять полные страницы по тегам? Вряд ли пользователь откроет счетчик в окне, в которых обычно максимум фрейм.

Answer 2

[Rowdy Ro]

Первое, что в голову пришло это http_referer — в случае запроса к habrastorage.org, он будет проставлен в habrahabr.ru

Comments

[NeonMercury]

Но тогда при поиске чего-либо в яндексе (или при переходе по любой другой ссылке) тот сайт, который находится за ссылкой, не учтётся, так как у него тоже будет проставлен Referer.

Answer 3

[Rowdy Ro]

Да, в этом случае можно фильтровать полученный пользователем html — и искать ссылки на iframe, a href… только вот с javascript шляпа. Можете по тайму запросов смотреть, вряд ли пользователь сможет кликать быстрее чем броузер грузить

Comments

[NeonMercury]

А это очень интересный вариант, спасибо. Детектить в HTML все адреса и делать разрешёнными лишь те, которые находятся в аттрибутах тега <a>. Подумаю, как это можно применить, спасибо.

Answer 4

[egorinsk]

> Сниффер корпоративный

Желаю вам благополучно провалиться с этой бессмысленной затеей.

Answer 5

[Alex Khayev]

если сниффер корпоративный, то, полагаю, проще написать что-то из:
— для клиентской стороны
1. аддон к браузеру
2. хук на мышь (плохой вариант)
3. свой браузер для корпоративного пользования
— для серверной, если у вас что-то типа прокси
1. менять хтмл, добавляя в него либо онклик обработчики
2. менять хтмл, видоизменяя в нем урлы

ну и комбинация различных вариантов, включая предложенные выше

ну это я мысли так набросал, для вариантов размышления, хотя не до конца понятна ваша задача.

Comments

[Alex Khayev]

минус за что? мой комментарий не в тему или что?

Answer 6

[xmoonlight]

Решение такое:
Извлекаем информацию в обратную сторону: полученный контент text/html -> ID-потока -> первый запрос к серверу после открытия потока ID (или последний редирект).

Comments

[NeonMercury]

Если я всё правильно понял, то при запросе к разным серверам (счётчик liveinternet, например) добавятся и они тоже, а не должны

Answer 7

[mace-ftl]