Как сделать в NGINX proxy_pass на адрес из значения аргумента в запросе?

большое спасибо!
только добавил resolver 8.8.8.8;
а то что-то не все url адреса открывало.

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

Evgeny Novoselov, а вот Thread Dump

"OkHttp listen6.myradio24.com" #1373 daemon prio=5 os_prio=0 cpu=1875.19ms elapsed=84516.82s tid=0x0000ffff44149800 nid=0x3280ad waiting on condition  [0x0000fffed55fd000]
   java.lang.Thread.State: WAITING (parking)
        at jdk.internal.misc.Unsafe.park(java.base@11.0.15/Native Method)
        - parking to wait for  <0x00000000f746ed30> (a java.util.concurrent.locks.ReentrantLock$NonfairSync)
        at java.util.concurrent.locks.LockSupport.park(java.base@11.0.15/LockSupport.java:194)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(java.base@11.0.15/AbstractQueuedSynchronizer.java:885)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireQueued(java.base@11.0.15/AbstractQueuedSynchronizer.java:917)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquire(java.base@11.0.15/AbstractQueuedSynchronizer.java:1240)
        at java.util.concurrent.locks.ReentrantLock.lock(java.base@11.0.15/ReentrantLock.java:267)
        at sun.security.ssl.SSLSocketImpl$AppInputStream.read(java.base@11.0.15/SSLSocketImpl.java:1038)
        at okio.InputStreamSource.read(JvmOkio.kt:90)
        at okio.AsyncTimeout$source$1.read(AsyncTimeout.kt:129)
        at okio.RealBufferedSource.skip(RealBufferedSource.kt:405)
        at okhttp3.internal.http2.Http2Connection$ReaderRunnable.data(Http2Connection.kt:647)
        at okhttp3.internal.http2.Http2Reader.readData(Http2Reader.kt:180)
        at okhttp3.internal.http2.Http2Reader.nextFrame(Http2Reader.kt:119)
        at okhttp3.internal.http2.Http2Connection$ReaderRunnable.invoke(Http2Connection.kt:618)
        at okhttp3.internal.http2.Http2Connection$ReaderRunnable.invoke(Http2Connection.kt:609)
        at okhttp3.internal.concurrent.TaskQueue$execute$1.runOnce(TaskQueue.kt:98)
        at okhttp3.internal.concurrent.TaskRunner.runTask(TaskRunner.kt:116)
        at okhttp3.internal.concurrent.TaskRunner.access$runTask(TaskRunner.kt:42)
        at okhttp3.internal.concurrent.TaskRunner$runnable$1.run(TaskRunner.kt:65)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(java.base@11.0.15/ThreadPoolExecutor.java:1128)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(java.base@11.0.15/ThreadPoolExecutor.java:628)
        at java.lang.Thread.run(java.base@11.0.15/Thread.java:829)

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

Evgeny Novoselov, Вот вкладка threads в VisiualVM из дампа на 5 гб. (отсортировал список по статусу Running) .
98% названий , это OkHttp и 5-7 одних и тех же интернет адресов (listen7.myradio24.com, italo.italo.nu, radio.adds.su, air.dnbfm.ru...)

Парсер пробегает примерно 800 радиостанций. Других ~790 адресов в этом списке тредов (в состоянии Running) - нет.
Ширина канала, скорость, при этом на VPSке нормальная

Hosted by htp GmbH (Hannover) [263.92 km]: 8.166 ms
Testing download speed................................................................................
Download: 2041.41 Mbit/s
Testing upload speed......................................................................................................
Upload: 1165.67 Mbit/s

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

mayton2019, да нет, не обидел. Нет, сам написал на Kotlin. Я думаю нужно просто создать фиксированный пул java потоков, и посадить на них корутины.. Потому что скоуп корутин, как мне кажется, порождает слишком много всего, вместо того чтобы переиспользовать в некоторых моментах. Либо я упустил что то очень важное и по этому такая ситуация происходит.

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

Вот кстати скрин из htop на данный момент. Threads стало уже больше 2к.

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

mayton2019, каким еще к чёрту реверс-инжинирингом?)) У меня есть весь исходный код. Я из него скомпилировал JAR. Исходя из снятого 5-ти гигового дампа, видно, что java thread'ы содержат внутри okhttp инстансы или коннекшены..
Вот один из них:

"OkHttp listen2.myradio24.com" #3448 daemon prio=5 os_prio=0 cpu=1489.07ms elapsed=20062.16s tid=0x0000ffff601dc800 nid=0x329b82 waiting on condition [0x0000fffea8bfd000]
java.lang.Thread.State: WAITING (parking)
at jdk.internal.misc.Unsafe.park(java.base@11.0.15/Native Method)
- parking to wait for <0x00000000f150a240> (a java.util.concurrent.locks.ReentrantLock$NonfairSync)
at java.util.concurrent.locks.LockSupport.park(java.base@11.0.15/LockSupport.java:194)

Что это может означать, почему они накапливаются и точно ли они являются источником порождения threads - никак не могу разобраться. Такое чувство, что connection даже по таймауту не отваливается и остается висеть почему то..

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

По поводу плодящихся Java-threads. 215 штук на процесс.

У меня плодится до 3000 threads. В итоге парсер перестает нормально работать/висит. zeon-backend я и делал, по этому говорить не с кем ((

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

Сделал дамп в течении 2 дней работы парсера. Есть .jfr файл, есть программа JDK Mission Control. Только вот не совсем понял, куда там смотреть, и на что обращать внимание.
Дамп весит 5 гбайт, брал небольшой кусок для анализа.
Единственное что вроде как понял, что вкладка Thread Dumps нужна.
Там пишет

spoiler

2022-07-26 04:00:45
Full thread dump OpenJDK 64-Bit Server VM (11.0.15+10-Ubuntu-0ubuntu0.20.04.1 mixed mode):

Threads class SMR info:
_java_thread_list=0x0000ffff2c153e30, length=1014, elements={
0x0000ffff8c015800, 0x0000ffff8c1e0800, 0x0000ffff8c1e5000, 0x0000ffff8c1fc800
................
и куча вот такого текста:
................
"OkHttp listen2.myradio24.com" #3448 daemon prio=5 os_prio=0 cpu=1489.07ms elapsed=20062.16s tid=0x0000ffff601dc800 nid=0x329b82 waiting on condition [0x0000fffea8bfd000]
java.lang.Thread.State: WAITING (parking)
at jdk.internal.misc.Unsafe.park(java.base@11.0.15/Native Method)
- parking to wait for <0x00000000f150a240> (a java.util.concurrent.locks.ReentrantLock$NonfairSync)
at java.util.concurrent.locks.LockSupport.park(java.base@11.0.15/LockSupport.java:194)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(java.base@11.0.15/AbstractQueuedSynchronizer.java:885)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireQueued(java.base@11.0.15/AbstractQueuedSynchronizer.java:917)
at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquire(java.base@11.0.15/AbstractQueuedSynchronizer.java:1240)
at java.util.concurrent.locks.ReentrantLock.lock(java.base@11.0.15/ReentrantLock.java:267)
at sun.security.ssl.SSLSocketImpl$AppInputStream.read(java.base@11.0.15/SSLSocketImpl.java:1038)
at okio.InputStreamSource.read(JvmOkio.kt:90)
at okio.AsyncTimeout$source$1.read(AsyncTimeout.kt:129)
at okio.RealBufferedSource.skip(RealBufferedSource.kt:405)
at okhttp3.internal.http2.Http2Connection$ReaderRunnable.data(Http2Connection.kt:647)
at okhttp3.internal.http2.Http2Reader.readData(Http2Reader.kt:180)
at okhttp3.internal.http2.Http2Reader.nextFrame(Http2Reader.kt:119)
at okhttp3.internal.http2.Http2Connection$ReaderRunnable.invoke(Http2Connection.kt:618)
at okhttp3.internal.http2.Http2Connection$ReaderRunnable.invoke(Http2Connection.kt:609)
at okhttp3.internal.concurrent.TaskQueue$execute$1.runOnce(TaskQueue.kt:98)
at okhttp3.internal.concurrent.TaskRunner.runTask(TaskRunner.kt:116)
at okhttp3.internal.concurrent.TaskRunner.access$runTask(TaskRunner.kt:42)
at okhttp3.internal.concurrent.TaskRunner$runnable$1.run(TaskRunner.kt:65)
at java.util.concurrent.ThreadPoolExecutor.runWorker(java.base@11.0.15/ThreadPoolExecutor.java:1128)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(java.base@11.0.15/ThreadPoolExecutor.java:628)
at java.lang.Thread.run(java.base@11.0.15/Thread.java:829)

имеет ли это какое то значение, - не пойму. Стоит ли обратить внимание на okhttp3 и делать его подозреваемым - не знаю ))

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

pfg21, просто я сам в коде нигде треды не создаю, кроме корутины, которая на IO диспатчере крутится, и ведь она имеет фиксированный размер в 64 потока. PS: а памяти парсер потребляет спустя сутки больше, чем допустим спустя 10 минут. Но немного увеличенное потребление памяти связанно ведь с тем, что у меня как раз 3 тысячи тредов накопилось.. Просто иногда думаю, может ли это CoroutineScope порождать треды под себя, если ему 64 потока в какой то момент становится мало.. И убийство скоупа, с последующим его новым созданием, врятли что то освободит.. (

Как избавиться от плодящихся threads (java потомки) в Linux при использовании бекенда на Kotlin (Ktor + Coroutines)?

pfg21, Да собственно если даже парсить ничего не буду, а просто в цикле корутины запускать начну, даже не создавая новых экземпляров coroutine scope , всё равно треды набегут. Я хз как посмотреть, что именно там так "раздраконивается".. ((

Почему шаговые двигатели делают с разными обмотками?

Владимир Коротенко, и? в чем вопрос то)

Как правильно реализовать авторизацию на Android и backend?

1. А правильно ли я понял, что если используется несколько устройств и происходит авторизация в приложении, то на каждом устройстве будет своя независимая пара access token и refresh token?
2. При протухании access token, мы делаем запрос с refresh token'ом на backend, чтоб получить свежий access token. В этом случае, в БД необходимо будет обновить существующую запись? (обновить значение access токена и оставить refresh token какой и был) либо же затереть всю запись целиком и сгенерировать новую пару access и refresh token?

Почему шаговые двигатели делают с разными обмотками?

Ремонт электроники сейчас не целесообразен лишь только потому что электронику в большинстве случаев делают "одноразовой", чтобы чинить там было нечего и пользователь шёл покупать новое устройство. Также все комплектующие электроники стали настолько мелкими, что чинить там без специального оборудования и навыка просто нечего. Сюда же можно приплести какое-нибудь запланированное устаревание. Толи было дело раньше)) Когда было всё максимально простое, от части механическое. Где тот же холодильник или телевизор можно было бесконечно обслуживать и поддерживать в рабочем состоянии. Сейчас же если ломается телик, то либо матрицу по цене телевизора покупать, либо мат. плату целиком, зачастую без точечного ремонта, как раньше

Можно ли не указывать способы получения дохода в google play console?

или они уйдут вникуда

Как это понять можно? Вы где нибудь встречали, чтобы деньги "вникуда" уйти могли, когда они находятся на счету аккаунта?) Это ведь же не баллы магазина электроники, которые через месяц сгорают))

Почему на WSL2 очень медленная скорость при apt update?

переписал полностью /etc/apt/sources.list

заменил всё на:

deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal main
deb-src [trusted=yes] https://mirror.docker.ru/ubuntu/ focal main

deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-updates main restricted
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal universe
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-updates universe
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal multiverse
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-updates multiverse
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-backports main restricted universe multiverse
#deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal partner
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-security main restricted
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-security universe
deb [trusted=yes] https://mirror.docker.ru/ubuntu/ focal-security multiverse

в файле etc/resolve.conf заменил IP nameserver на своё. В моём случае DNS

nameserver 192.168.1.1

Обновление прошло с нормальной скоростью.

Почему на WSL2 очень медленная скорость при apt update?

profesor08, установил сегодня с нуля Ubuntu 20.04 LTS, ничего не изменилось., скорость ~1,4кбайт. Вообще без понятия в чем проблема

Почему на WSL2 очень медленная скорость при apt update?

profesor08,

Почему на WSL2 очень медленная скорость при apt update?

profesor08, попытка скачать вручную через браузер на винде:

Почему на WSL2 очень медленная скорость при apt update?

profesor08, попытка вручную скачать файл, через wget с сервера archive.ubuntu.com/ubuntu/dists/focal-updates/

Почему на WSL2 очень медленная скорость при apt update?

profesor08, слева винда, справа WSL