На базе чего лучше создать HTTP-прокси, передающий на обработку скрипту/плагину тела ответов сервера image/*, и быстро пропускающий остальной трафик?

Question

[nirvimel]

Стоит задача захвата всех изображений с image/* в Content-Type, обработки их определенным образом с последующей подменой оригинала на обработанную версию при наибыстрейшем сквозном пропускании остального трафика. Также очень желательна возможность подключить parent proxy, на который будет форвайдится трафик.
Я мог бы написать такой велосипед (прототип) на многих из известных мне языков, не обращая внимания на производительность. Но меня интересует правильный вариант подхода к этой задаче, а не просто перечисление вариантов, типа "и на этом тоже можно как-то наколхозить". Идеально было бы использовать готовый сервер (в mature state, оптимизированный и отточенный) с возможностью прикрутить к нему свой плагин или скрипт. Но я не нашел соответствующего решения среди популярных серверов. Если писать сервер самостоятельно, то в качестве основы лучше взять какой-то mature проект в котором предусмотрена возможность расширения (перехват событий, например).
Что касается Python, на котором я сходу собирался решить задачу, то на нем, как оказывается, практически нет подходящих вариантов. Все что я нашел это:

1. CherryProxy - CherryPy based, хорошая задумка, но брошен в 2012, есть возможности подключить parent proxy.
   
2. proxy2 - основан на блокируемых потоках Threading (!), основной упор на перехват и подмену SSL, нет возможности подключить parent proxy, продолжаю изучать его пока.
   
3. proxy.py - относительно популярен на githab, слишком сильно заморочен на полном отсутствии зависимостей, внутри логика тесно завязана множестве различных состояний (лично я не люблю любые аналогии со state machine, это непрозрачно и далеко от функционального подхода), никакой возможности для расширения (или monkey patch во множестве мест или серьезная переделка архитектуры), нет возможности подключить parent proxy.
   

Comments

[Валерий Рябошапко]

Можете раскрыть больше деталей об архитектуре приложения? Просто любопытно, зачем понадобилось такое нестандартное решение.

[nirvimel]

Валерий Рябошапко: Все просто: Прокси, который фотошопит картинки на лету, для наложения визуальных эфектов, которые выходят за пределы возможностей CSS (прикручивать свой CSS к чужим страницам, это совершенно противоположный подход, там не меньше подводных камней). Сам алгоритм фильтра мой самописный, за его производительность я отвечаю, то что сервер не уткнется по производительности в него я могу гарантировать, остаются два потенциально узких места, это сам прокси и обратное сжатие изображений (с этим, конечно, ничего не сделать, но насколько это критично, покажет практика).

[z0rgoyok]

Делал замену данных в обмене сокетами на https://github.com/benoitc/tproxy может поможет )

[nirvimel]

z0rgoyok: Благодарю! Очень серьезный проект. На порядок круче чем те бета версии, которые я нашел по этой теме. Большой объем кода, пока продолжаю изучать...

Answer 1

[Stalker_RED]

Если вам действительно важна скорость, то почему-бы не взять nginx?

Comments

[nirvimel]

И как nginx штатными средствами позволяет перехватывать и подменять скриптом ответ upstream сервера?
Или вы предлагаете форкнуть сам nginx, разобраться в его коде и дописать в него свой функционал?

[Alex XYZ]

nirvimel: Я предлагаю посмотреть на плагин NGINX Lua. У меня был опыт обработки nginx-ом сессий с помощью Lua. Вполне сносно получалось. Думаю, что в Lua найдутся библиотеки для работы с изображениями.
https://github.com/openresty/lua-nginx-module#inst...

[nirvimel]

Захаров Александр: Пока изучаю документацию, но еще не нашел никаких средств для перехвата и подмены upstream response. Все сосредоточенно вокруг динамического формирования собственных response. Возможно, я что-то проглядел. Если у вас есть опыт разработки, может быть вы подскажите каким образом можно подменять ответ upstream.

[Alex XYZ]

nirvimel: Именно для замены upstream я его на тот момент и собирал. Менял некоторые вещи в html.
Смотрите header_filter_by_lua и body_filter_by_lua
https://github.com/openresty/lua-nginx-module#body...

[Alex XYZ]

nirvimel: Кроме того, что скрипты можно писать в настройках их можно класть и как отдельные файлы.
Ещё один важный момент. Для записи скриптов в конфиге есть один очень хитрый параметр - максимальный размер текста такого скрипта. Он задан в исходниках и пару лет назад был равен 4КБ. Достаточно мало. Ищите NGX_CONF_BUFFER в исходниках и пропишите какой вам нужен размер.

[Alex XYZ]

nirvimel: Кстати, вот нашёлся кусок кода, писал когда-то прямо в настройках nginx:

location /app/xxx.8080/
        {
            proxy_pass http://comp.xxx.local:8080/;
            body_filter_by_lua '
                                if string.match( ngx.header.content_type, "text%/html") then
                                    ngx.arg[1] = string.gsub( ngx.arg[1], " href=\\"\\/openam", " href=\\"/xxxxx/openam" )
                                    ngx.arg[1] = string.gsub( ngx.arg[1], " src=\\"\\/openam", " src=\\"/xxxxx/openam" )
                                    ngx.header.content_length = nil
                                end
                                ';
        }

Answer 2

[Alex XYZ]

... Добавлю отдельным сообщением, вдруг кто комментарии не очень читает. Есть ещё такая штука Fiddler.core:

www.telerik.com/fiddler/fiddlercore

Там можно делать скриптование на JavaScript с помощью .net. Но только у него не совсем бесплатная лицензия: www.telerik.com/purchase/fiddlercore

Comments

[nirvimel]

Интересный продукт. Остаются вопросы насчет производительности такого решения:
Во-первых: это все-таки виртуальная машина.
Во-вторых: их основной продукт, частью которого является эта библиотека (под него и писалась, видимо), имеет задачи отладки и тестирования, и про работу под нагрузками там ничего не сказано.

A FiddlerCore.dll compiled targeting the Mono Framework is now in Alpha.

Значит если я разворачиваю проект на сервере под Linux, то я получаю Альфа версию и еще должен за нее заплатить, если я не похож на студента (в соответствии с условиями лицензии)?