Как создать постоянное подключение для туннелирования с помощью php?

Question

[PO6OT]

Если сервер с серым IP отправит запрос серверу с белым IP, то может ли сервер с белым IP отправлять ответ бесконечно долго, таким образом создав постоянное подключение для туннелирования?

Я пишу туннель на php, нужно оптимизировать вот эту технологию.
Свое решение для оптимизации я изложил выше. Можно ли его реализовать?

Не помешают ли мне тайм-ауты NAS?
Может ли php получать и обрабатывать часть информации? (Так как один ответ сервера длится бесконечно и его, естественно надо обрабатывать частями).
Может ли php отправлять информацию частями? (Подробнее про буферизацию, пожалуйста).

Технология разрабается для хранения результатов индексирования поисковой машины на сервере с серым IP, а доступом к ней через хеш хостинга, так как у хостинга высокая скорость соединения с клиентом, а на сервер не хочется покупать белый ip, так как планируется частое перемещение сервера и каждый раз покупать будет неудобно, так-же планирую иметь не один сервер, а чем с портами возиться, каждый сервер на свой порт вешать, лучше будет написать на php небольшой туннель. Использовать программы для туннелирования не хочется, так как сервера могут быть с разными ОС и вообще это возня. Да и к тому же я пишу фреймворк и его пользователям очень понравится новая функция - это будет одна из его фишек (фреймворк не должен требовать никаких расширений, программ, плагинов и т.д., кроме обработчика php и любого http сервера - это другая фишка).

Все вопросы по теме:

Как с помощью PHP на хостинге с «белым» IP сделать http туннель для подключения к серверу с «серым» IP, который за NAT'ом?
Как любыми способами получить http доступ к серверу с серым IP из интернета?
Есть технология кластеризации. Как её оптимизировать?
Как создать постоянное подключение для туннелирования с помощью php?
Не помешают ли мне тайм-ауты NAS при туннелировании?
Может ли php получать и сразу же обрабатывать часть запроса, не дожидаясь окончания получения запроса?
Может ли php отправлять информацию частями?

Самое свежее обсуждение.

Answer 1

[nonlux]

Почитал все вопросы ответы по теме.
По моему в целом проблема высосана из пальца, но сейчас не об этом.

1. Не понятно для кого это делается. Просто для себя или будут пользователи у вашего решения.
Если наберется с N пользователей, то не померет ли ваш белый сервер от постоянной перезагрузки страниц (DDos).

2. аналогично первому только касаемо базы и прочих ресурсов на сервере. Хостинг провайдер не пошлет за постоянной превышение нагрузки?

3 Черный ящик php. Я не могу посоветовать решения не зная, как урезан php на белом хостинге.

4. Ближе к телу. Думаю на ваших серверах все реализована так:
Запрос -> веб сервер (apache, nginx) -> php ( fpm, cgi)

Все они созданы, чтобы сдохнуть ( т.е как у веб сервера так и php есть настройки времени жизни для запроса) и соответственно бесконечных одиночных запросов в этом контексте ( для http) быть не может.

Люди уже давно придумали как это обойти : long pooling, web sockets. Даже придумали php, который не умирает (Reactphp).

Но возможны ли эти решения для вас, зависит от п.п 3 ( см. выше)

5.

Может ли php получать и обрабатывать часть информации? (Так как один ответ сервера длится бесконечно и его, естественно надо обрабатывать частями).
Может ли php отправлять информацию частями? (Поподробнее про буферизацию, пожалуйста).

Извините, ерунда. см п.п.4
Правильным решением будет 100 разных POST отправить с серого к белому серверу. На белом все собрать в кучу.

6. В целом, если вам необходима только выдача данных от серого сервера. То самым простым будет реализация своего static http proxy.
Т.е. серый генерирует уже готовые страницы отдает их белому. А тот их сохраняет и выдает. Если пользователь запросит, то что серый еще не обработал слать его на ... (404)

Comments

[PO6OT]

1. Это моя забота
2. Это не моя забота
3. Обычный shared-хостинг
4. См. 3

[PO6OT]

5. Вы не поняли
Белый сервер отправляет все данные в одном ответе, постоянно дополняя его.
Белый должен отправлять ответ частями, чтоб вместить в один ответ несколько запросов. Как это сделать?
Серый должен получать ответ и не дожидаясь окончания обрабатывать ту часть ответа, которая уже имеется. Как это реализовать? Или апач не даст прочитать ответ, пока он не закончится? (Ответ запрашивается file_get_contents()'ом.)

[nonlux]

Слушай, вообще вся эта канитель это полностью не моя забота. и мне абсолютно без разницы чья это забота. А вообще хочешь спорить вместо того, чтобы подумать надо ответами на твои вопросы ради бога.

А по делу почитай как работает http.

примитивный пример твоей реализации.

Api белый сервер.
публичное (работает с пользователем)
a1. get /info/{name} - выдает информацию клиенту из файла {name}

приватное (работает с пользователем)

b1. get /task/{name} - выдает задачу серверу
b2. post (или put) /info/{name}

форма для post
- name
- text

при отправке post белый сервер дозаписывает {text} в файл {name}

Алгоритм

1. пользователь отправляет запрос a1
2 если файл {name} существует по файл отдается пользователю если нет, то сервер запоминает {name}

3. серый по таймеру отправляет запрос b1
если от получает {name} то он начинает работы над этой задачей
и по таймеру отправляет b2 с текущими результатами работы

4. пользователь через некоторое время снова запрашивает a1
и уже получает информацию

5 profit

[PO6OT]

nonlux: я и сам до этого догадался, но мне нужно, чтоб серый отправил один запрос белому и получал в одном бесконечном ответе все задачи по мере их поступления

[PO6OT]

nonlux: нельзя, чтоб серый делал много запросов. Можно только watchdog поставить.

[PO6OT]

nonlux: то есть если белый долго не выдает задачи, то реконектиться

[PO6OT]

nonlux: а ещё вы не поняли. Пользователь должен сразу получать ответ. То есть он отправляет запрос, на белом запускается демон, который постоянно проверяет файл с ответом и когда он появляется, демон завершается и выдает ответ

[nonlux]

Да-да я все это прочел.
Но пойми своими попытками ты упираешься в ограничения технологий.
Apache или Nginx на хостинге (я на 90 процентов уверен что у тебя так) имеет время после которого просто убьет запрос.

>нельзя, чтоб серый делал много запросов. Можно только watchdog поставить.
Почему?

> Пользователь должен сразу получать ответ. То есть он отправляет запрос, на белом запускается демон, который постоянно проверяет файл с ответом и когда он появляется, демон завершается и выдает ответ

Мою схему можно реализовать и так просто используя ajax и обновляя контент.
Т.е страница сразу отдается клиенту и по мере поступления данных js обновляет контент.

Вообще все твои мучения прекрасно вписываются в технологии gearman или rabbitmQ (очередей задач или очередей сообщений) попробуй в эту сторону капнуть, но там скорее всего потребуются расширения для php, а на хостинге их нет.

Еще постоянное соединение ты сможешь держать через mysql

Т.Е серый будет конектится к mysql на хостинге и обмеен с белым будет происходить через mysql.
Но тогда необходимо светить mysql во внешку + 4kb для этого мало.

[PO6OT]

nonlux: Скрипт на хостинге будет умирать, по этому есть watchdog. Если белый долго не дает задание серому, серый запрашивает его снова. Но постоянно запрашивать нельзя, по тому, что это нагружает серый а ещё это дает задержку ответа. Если белый будет отправлять серому задания в одном потоке, это будет быстрее, чем постоянные запросы серого, по тому, что между запросами серого есть интервал и он может и оказаться задержкой. Конечно, такие издержки незаметны на малопосещаемых ресурсах, но я делаю эту систему не только для себя.

>Мою схему можно реализовать и так просто используя ajax и обновляя контент.
регистрация и авторизация тоже будет проходить через туннель. мой способ с демоном в данной ситуации будет лучше

>но там скорее всего потребуются расширения для php
сразу отпадает вариант

>Еще постоянное соединение ты сможешь держать через mysql
На shared-хостинге MySQL доступен только по локалке. Я предпочитаю YNDb. Доступ к БД осуществляется через скрипт на белом сервере, так что всё налажено.

Мне нужен только один ответ: Как поступающий ответ от белого сервера сразу обрабатывать? Ведь он отправляет один кусок ответа а через 15 секунд второй и как их обрабатывать сразу при поступлении, если php дает возможность прочитать ответ только после получения его до конца. Или я что-то не знаю?

[nonlux]

Ну тебе только php.net/manual/ru/function.fsockopen.php

[PO6OT]

nonlux: и можно читать данные сразу при поступлении без завершения получения?

[nonlux]

Yes посмотри пример #1.

[nonlux]

Кстати почитай habrahabr.ru/post/128535
Там в самом начале после заголовка теория идет описание long polling
В нем слова сервер замени на белый а клиент на серый, а ajax замени на socket и будет тебе счастье

[PO6OT]

nonlux: спасибо. надо бы мне ещё http-заголовки подучить

[nonlux]

Пжлст )