hOtRush

Если я правильно помню, content_scripts - это скрипты, которые встраиваются в страницу в открытой вкладке, а popup.html - это другая страница, и скрипты у нее уже другие. Коммуникация между этими страницами должна осуществляться другими способами https://developer.chrome.com/apps/messaging

Скорее всего это то, что называется SSL Pinning и обойти это довольно проблематично, потому что проблематично подменить сертификат, который зашит в само приложение.
https://medium.com/@appmattus/android-security-ssl...
https://www.emaro-ssl.ru/blog/ssl-pinning-for-android/
На ios можно обойти только на джейлбрекнутых прошивах https://github.com/iSECPartners/ios-ssl-kill-switch

Может попробовать добавить промежуточные ящики, 5 ящиков собирают с 50, 1 с тех 5?

openvz?

Берешь любую балалайку для очереди вроде beanstalkd или gearman, пишешь какой-то главный скрипт, который запускает парсинг с входной точки (первой страницы или страниц), ссылки извлеченные из нее добавляются в эту же очередь и где-то сохраняются для блэклистинга (чтобы не парсились дважды). Примерно так работает scrapy

Не скажу за докер, там всегда с пользователями, группами и правами была каша какая-то. Здесь надо смотреть от какого пользователя запущен php и какому пользователю принадлежит директория.
То есть вот ты смонтировал директорию
./public:/usr/share/nginx/html
залогинься в контейнер и посмотри кому она принадлежит, тупо ls -l, посмотри в htop от кого работает пхп. К примеру пхп работает от www-data:www-data, а директория принадлежит root:root, тогда нужно директорию chown -R www-data:www-data. Это самое простое наверное. Если у тебя как ты говоришь myUsername:wheel (именно в контейнере, а не на твоем компе), то можно изменить на myUsername:www-data, добавить пользователя myUsername в группу www-data и разрешить группе доступ через chown -R g+rw.

Яндексу твой сайт не интересен, забей. Вот если бы это был фишинговый сайт или другое разводилово - то да, был бы в топе)

scrapoxy.io + https://vscale.io/

Если нужно данные гонять туда-сюда, можно попробовать redis pub-sub

Просто яндекс - непредсказуемая помойка, так что *** его знает

Бери тринашку и попроси лупу в подарок)

Раньше в правилах было четко прописано, что материал должен быть авторским, а не переводом. Сейчас хз

Curl это http клиент, а не браузер. Как вариант берешь chrome headless и указываешь свой user-agent. Вот только флеша там не будет в любом случае.

Поддержка амазона вам ответит только если вы известный стартап или платите им от 20-30к в год (причем если стартап могут предложить 10-20к кредитов на 12-24 месяцев). Сервисы амазона готовы к любым нагрузкам, но ваши задачи мне мало понятны.

очереди и менять архитектуру

www.nbrb.by/APIHelp/ExRates