Перехват и разбор пакетов, генерация html страниц, в python

Question

[ks_ks]

Захожу на сайт site.com, перехожу в нем по ссылкам.
Задача — генерировать html-страницы, которые я посетил.
Как это можно сделать(начиная от перехвата трафика по порту 80,
заканчивая разбором и компоновкой пакетов)?

Comments

[homm]

Начните с самого начала, почему вы не можете посетить сайт site1.com, который принадлежит вам? Почему нужно именно «перехватить» трафик с site.com?

[ks_ks]

Сайт не мой, а произвольный.
Хочу научиться отслеживать похожие блоки запросов,
для автоматической генерации функций API(которых нет у конкретного сайта).

[ks_ks]

Ну и с исследовательской целью. Понять как на низком уровне происходит генерация html-страницы, в деталях.

Answer 1

[Владимир Чернышев]

начните с tcpdump

Comments

[ks_ks]

Вопрос скорее про расшифровку этих приходящих пакетов — поймать их не основная проблема.
А вот как отследить переход по ссылке. Как декодировать в html? Как понять что содержится в пакете(файлы(css, js, swf, mov, и пр.), или просто текст?)

[Владимир Чернышев]

Отслеживаете tcp-пакеты на 80-й порт айпишника site.com. «Разворачиваете» их из tcp. Увидите во входящих что-то вроде:
HTTP/1.1 200 OK
...
Content-Type: text/html; charset=utf-8
...

Вот этот Content-Type и есть типа файла, в данном случае html, он идёт открытым текстом после заголовка. Для других типов значение будет другим. Вообще почитайте RFC 2616 и RFC 2046 Или вики хотя бы ru.wikipedia.org/wiki/HTTP ru.wikipedia.org/wiki/MIME

Answer 2

[homm]

Вам нужен веб-фреймворк. Например, Django.

Comments

[ks_ks]

Мне нужно перезаписать вопрос так, чтоб он был немного понятнее ;))))
Я имел ввиду, что я выступаю в качестве клиента какого-то сайта.
Хожу по ссылкам. Сайт мне возвращает какую-то инфу.
Задача — перехватить эту инфу с 80ого порта, чтобы генерировались страницы, которые видит браузер.
Примечание — Обязательно, начиная с самого низкого уровня(разбора пакетов).
Вот вопрос возник от того, что я не имею представления,
как это можно сделать в принципе.

Answer 3

[Eternalko]

Я думаю, Charles это то что вам нужно!!!

Comments

[Eternalko]

>в python.
Простите, не заметил.

[ks_ks]

Ага. Я где-то в соседнем вопросе про него видел. Судя по скринам интересная штука. Посмотреть бы сорцы аналогичной на питоне… :)

[Eternalko]

А зачем вам на питоне? Вам постоянно нужно перехватывать?

[ks_ks]

Так точно.На питоне, т.к. я пока не горю желанием другой язык осваивать. :)
Да принцип разбора пакетов интересен. Методика их разбора и генерации на основе них html-страничек одна и та же для любого языка. Вот её и не знаю где искать.