Читаю комменты и глаза на лоб лезут. Вы серьезно на проде через админку правите верстку и пхп код? Через sftp правите на боевом сервере скрипты? Это нормально вообще? А как же системы контроля версий и т.п.?
Если не секрет, какого типа партнерки были? И эти проекты чисто под партнерки (например, витрина товаров адмитад) или как дополнение к сайту? И закупали ли траф на эти сайты?
4sadly, context.Background() - глянь это. os.Getenv("DATABASE_URL") - берет значение переменной окружения с названием DATABASE_URL, os.Exit(1) - выход из приложения с кодом ошибки 1.
EVOSandru6, вряд ли подскажу, т.к. я python/php/go разработчик. Но, мне кажется, в данном случае не столь важно, т.к. сайты надо парсить аккуратно, чтобы внезапно возросшую нагрузку не заметил. Даже рандомные таймауты ставить неплохо б. Долбать сайт в несколько потоков - верный путь к тому, чтобы владелец сайта это заметил и вас забанил.
leonidpetrosian, Вы имеете в виду какой-то прогресс-бар, входящий в стандартную библиотеку Питона? Насколько я знаю, такого нет. А что плохого в подключении библиотеки? Так или иначе, какие-то библиотеки для вашего проекта все равно потребуется подключать, это неизбежно. Если, конечно, у Вас не совсем уж простой скрипт. Хотя и простые скрипты со временем могут разрастаться.
Иван Антонов, "актуальность данных важна и быстро меняется" - о чем именно идет речь? Когда поисковый робот дергает ту или иную страницу, на сервере NodeJS выполняет js-код, и выплевывает html. Это не пререндер какой-то, который отрисовал страницу один раз и каждый раз одно и то же отдает. Можно закешировать, да, но это и в обычных сайтах делают. Насчет двух других пунктов не очень понял.
Владимир, и чем тогда не подходит то, что я скинул? Это и есть клиентский интерфейс: каркас админки и набор готовых компонентов для форм и списков. Даже верстать ничего не надо, Материал UI там из коробки, собираешь из блоков все по сути, указываешь урл к REST API для взаимодействия с сервером - и все.
Next, который Вам ниже предложили - это вообще из другой оперы в том смысле, что он не даст Вам то, что Вы хотите. Он нужен для серверного рендеринга, чтобы сайты на React "дружили" с поисковыми системами.
Пума Тайланд, рендерится ж только фронт по сути, причем лишь для первой отрисовки. Все дальнейшие переходы по "страницам" SPA-сайта не юзают SSR. Бэкенд как был апихой - так и остался. Фронт как был js-приложением - так и остался. Преимущества SPA от SSR никак не теряются.
Да, к сожалению, похоже, на то. Но настройки дефолтные, пароль тоже не сказал бы, что простой. А как правильно в таком случае решить вопрос? Сменить все пароли, забэкапить базу, переустановить PostgreSQL?
Советую попробовать сначала установить Ubuntu в виртуальной машине (см. VirtualBox, VMWare) - и там уже смотреть, захочется переходить на Linux полностью или нет. Это я к тому, что может вообще и не придется аналоги программ искать, если совсем не понравится, например.
ky0, официальный (deb apt.postgresql.org/pub/repos/apt stretch-pgdg main). К сожалению, в тот момент (такое пока что 2 раза происходило с периодичностью 5 дней) pg_stat_activity не смотрел :(
Roman Yakovenko, я, наверное, дурак, но серьезно не вдупляю. Я вордстатом проверил, например, "книги сергея лукьяненко" - вижу, что по поисковому запросу "сергей лукьяненко книги" почти 5к показов в месяц. Неужели если на эти страницы добавить пару абзацев о творчестве автора, а далее список его книг, то траф на такие страницы вообще прямо нулевой будет? Это не стеб, если что - просто реально интересно.
P.s. но даже если скрывать их от поисковых систем, то что это даст? Поисковые системы их расценивают как недостаточно качественные?