Как передавать данные на сервер без статического IP?

Question

[Max Payne]

И так, у меня есть домашний сервер, который не имеет статического айпи (за nat'ом провайдера), и дешевый VPS.
Получить статический IP в данный момент - не вариант. Провайдер хочет чтобы заключивший с ними договор ЛИЧНО ПРИШЁЛ В ОФИС И В ПИСЬМЕННОМ ВИДЕ ОБЪЯСНИЛ ЗАЧЕМ ЕМУ СТАТИЧЕСКИЙ АЙПИ. Договор заключал не я, возможности подключиться к кому-то другому сейчас нет.
Мне нужно чтобы HTTP-запросы попадающие на VPS обрабатывались домашним сервером, я это реализовал так:

0. На VPS с помощью BaseManager из библиотеки multiprocessing.managers создаётся сервер и Queue очередь в нём.
1. Далее запускается скрипт, который с помощью socket слушает 80-й порт.
2. Он разбирает полученные запрос, проверяя есть ли в заголовках и теле нужные мне данные.
3. Если они есть, эти данные обрабатываются и попадают в Queue очередь. Сервер возвращает соответствующий HTTP-ответ
4. Если их нет, то в очередь ничего не попадает и происходит редирект.

5. Домашний сервер коннектится к серверу, созданному в BaseManager.
6. Получает эту Queue-очередь из объекта и ждёт пока в ней появятся какие-то данные, как только они появляются он работает с ними дальше.

Вроде бы всё круто, но на деле почему-то вся эта лабуда постоянно крашится и более 50% данных исчезают. Есть ли ещё какие-то варианты как можно решить эту проблему иначе?

Answer 1

[Борис Сёмов]

Поднять VPN, например, с помощью openvpn, и работать как будто у него есть IP. =)

Comments

[Max Payne]

Если не затруднит объясните поподробней, даже на примере OpenVPN.

[Борис Сёмов]

На сервере с выделенным ip вы настраиваете и запускаете openvpn сервер, на сервере без белого ip настраиваете openvpn клиент и подключаетесь к серверу. И у сервера и у клиента теперь есть маршрутизируемые между собой IP, какие именно, зависит от настроек openvpn.
Дальше вы можете обращаться в любую сторону по этим IP адресам, как будто сервера соединены напрямую кабелем.

Как именно настроить openvpn полно мануалов в сети. И тут не сильно уместно было бы писать ещё один.
Если же будут конкретные вопросы по настройке openvpn, лучше спросите отдельным вопросом.
А если что-то не понятно концептуально - пишите, что именно, попробую объяснить.

[Max Payne]

Борис Сёмов, Можно будет настроить автоматическую переадресацию всех запросов от VPS до домашнего?

[Алексей Черемисин]

Arti Markelov, да можно, ставите nginx и в режиме обратного проки кидаете все запросы на адрес удаленного компа по vpn.

[Борис Сёмов]

Arti Markelov, Можно - любой reverse-proxy это сделает, если вопрос о http запросах, да и даже iptables можно обойтись, прокинув траффик 80/443 порта. Только учтите задержку между домашним сервером и VPS, она будет прибавляться к времени обработки запроса.(т.е. vps лучше ближе к дому иметь, с маленьким пингом).

[Max Payne]

Борис Сёмов, пинг 44 между ними, пойдёт) Пойду пробовать этот мануал.

[Борис Сёмов]

Arti Markelov, Учтите, что в большей части мануалов предлагается гонять весь трафик через VPN, а вам нужно только трафик во внутренней сети. Стоит обратить на это внимание.

[Max Payne]

Борис Сёмов, Следовал этому ману, создание сертификатов и конфига прошло замечательно, НО в самом последнем пункте Создания файла конфигурации сервера

Смотрим список интерфейсов
ifconfig

Просто нет tun0, сколько не перезапускаю OpenVPN, там только lo, venet0 и venet0:0

И по традиции лог пустой.

tail -f /var/log/openvpn.log
tail: cannot open '/var/log/openvpn.log' for reading: No such file or directory
tail: no files remaining

[АртемЪ]

Max Payne,

Просто нет tun0, сколько не перезапускаю OpenVPN, там только lo, venet0 и venet0:0

А какая виртуализация на вашей VPS? На некоторых так оно и есть.
tun вам дадут по просьбе в техподдержку, либо не дадут вообще.

[Max Payne]

АртемЪ, OVZ, писать в саппорт?

[Борис Сёмов]

И как они ещё не вымерли. =) Напишите в саппорт, технически они могут решить эту проблему, но скорее всего не будут.

[Max Payne]

Борис Сёмов, писать или проще сразу на KVM взять VPSку? (на нём всё будет ок?)

[Борис Сёмов]

Max Payne, Если хостер не отличается альтернативным мышлением, то будет норм на KVM. =)

[Max Payne]

Борис Сёмов, Взял KVM, настроил OpenVPN заново и там, и там. Клиент подключается к серверу успешно, в логах увидел следующее

primary virtual IP for client/ip_сервера:18766: 10.8.0.6

в iptables (он почему-то был не установлен) на сервере прописал следующие команды:

iptables -t nat -A PREROUTING -p tcp --dport 80 -j DNAT --to-destination 10.8.0.6:80
iptables -t nat -A PREROUTING -p udp --dport 80 -j DNAT --to-destination 10.8.0.6:80
iptables -t nat -A PREROUTING -p tcp --dport 443 -j DNAT --to-destination 10.8.0.6:443
iptables -t nat -A PREROUTING -p udp --dport 443 -j DNAT --to-destination 10.8.0.6:443
iptables -t nat -A POSTROUTING -j MASQUERADE

Но чет не запускается ... где-то я ошибся, не подскажете?

Answer 2

[АртемЪ]

Поднимаете VPN сервер на вашем VPS.
Коннектитесь к нему со своего домашнего компьютера или сервера.
Настраиваете на VPS проброс портов - банальные правила iptables

В итоге все запросы приходящие на белый адрес VPS перенаправляются на нужный вам компьютер в вашей локальной сети.

Хотя VPN это не единственный вариант, можно городить и SSH тоннели, и еще есть варианты.

Answer 3

[Владимир Дубровин]

Можно реализовать с помощью функции connect back в 3proxy
(один прокси ставится на домашний компьютер, один на VPS, со стороны VPS пробрасывается порт на домашний компьютер)
https://3proxy.ru/howtor.asp#CONNBACK
работает это похоже на вашу текущую схему.
Но если нет каких-то серьезных причин, то правильнее сделать VPN, как вам уже посоветовали.

Answer 4

[Max Payne]

Нашёл решение для себя:
Все манипуляции производил на VPS
1. Сначала очистил iptables, чтобы устаревшие правила никак не повлияли на будущую работу
iptables -F
2. Далее установил nginx
sudo apt-get install nginx
3. И в его конфиге прописал настройки для использования его в качестве прокси-сервера с перенаправлением на локальный сервер без статического айпи

user www-data;
worker_processes auto;
pid /run/nginx.pid;
events {
        worker_connections 768;
        multi_accept on;
}
http {
        sendfile on;
        keepalive_timeout 15;
        proxy_buffers 8 64k;
        proxy_intercept_errors on;
        proxy_connect_timeout 1s;
        proxy_read_timeout 3s;
        proxy_send_timeout 3s;
        server {
            listen 80;
            server_name a.ru b.ru;
            access_log /var/log/nginx/1.access_log;
            error_log /var/log/nginx/1.error_log warn;
            charset utf-8;
            ssi on;
            ssi_value_length 1024;
            location / {
                proxy_pass http://10.8.0.6:9000;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_intercept_errors off;
                proxy_read_timeout 5s;
                proxy_send_timeout 3s;
                gzip on;
                gzip_min_length 1024;
                gzip_proxied expired no-cache no-store private auth;
                gzip_types text/plain application/xml;
            }
        }
}

Answer 5

[CityCat4]

Сменить провайдера.
С провайдерами, как физик, у меня конечно нет такого опыта работы, чем как юрик, но среди того количества, что я знаю, как физик, никто не доходил до такого выраженного кретинизма. Тут либо пров совсем без лицензии и сидит на единственном своем белом IP, либо что-то типа "местечкового прова", у которого два с половиной адреса и такую политику он придумал просто чтобы отсечь.
Ну, а если никак - АртемЪ дал хороший совет

Comments

[Max Payne]

Беларусь, провайдер монополист - Белтелеком.

[CityCat4]

Max Payne, Вот потому и вы...еживаются. Точно так же как наш Ростелеком :(

Answer 6

[Xilian]

Письменное заявление на выделение статического IP - уже лет 8, как нормальная практика у любого провайдера. Адреса Ipv4 кончаются. Можешь написать "я хочу смотреть, как ссыт в лоток мой кот по IP-камере".
Для получения естественно потребуется твой скан паспорта - положенно по закону.

По "скрипт крашиться" - это проблема скрипта походу, возможно просто очередь сообщений выходит за рамки RAM позволенного процессу на VPS и кирдык скрипту.