Если не секрет, какого типа партнерки были? И эти проекты чисто под партнерки (например, витрина товаров адмитад) или как дополнение к сайту? И закупали ли траф на эти сайты?
4sadly, context.Background() - глянь это. os.Getenv("DATABASE_URL") - берет значение переменной окружения с названием DATABASE_URL, os.Exit(1) - выход из приложения с кодом ошибки 1.
EVOSandru6, вряд ли подскажу, т.к. я python/php/go разработчик. Но, мне кажется, в данном случае не столь важно, т.к. сайты надо парсить аккуратно, чтобы внезапно возросшую нагрузку не заметил. Даже рандомные таймауты ставить неплохо б. Долбать сайт в несколько потоков - верный путь к тому, чтобы владелец сайта это заметил и вас забанил.
leonidpetrosian, Вы имеете в виду какой-то прогресс-бар, входящий в стандартную библиотеку Питона? Насколько я знаю, такого нет. А что плохого в подключении библиотеки? Так или иначе, какие-то библиотеки для вашего проекта все равно потребуется подключать, это неизбежно. Если, конечно, у Вас не совсем уж простой скрипт. Хотя и простые скрипты со временем могут разрастаться.
Иван Антонов, "актуальность данных важна и быстро меняется" - о чем именно идет речь? Когда поисковый робот дергает ту или иную страницу, на сервере NodeJS выполняет js-код, и выплевывает html. Это не пререндер какой-то, который отрисовал страницу один раз и каждый раз одно и то же отдает. Можно закешировать, да, но это и в обычных сайтах делают. Насчет двух других пунктов не очень понял.
Владимир, и чем тогда не подходит то, что я скинул? Это и есть клиентский интерфейс: каркас админки и набор готовых компонентов для форм и списков. Даже верстать ничего не надо, Материал UI там из коробки, собираешь из блоков все по сути, указываешь урл к REST API для взаимодействия с сервером - и все.
Next, который Вам ниже предложили - это вообще из другой оперы в том смысле, что он не даст Вам то, что Вы хотите. Он нужен для серверного рендеринга, чтобы сайты на React "дружили" с поисковыми системами.
Пума Тайланд, рендерится ж только фронт по сути, причем лишь для первой отрисовки. Все дальнейшие переходы по "страницам" SPA-сайта не юзают SSR. Бэкенд как был апихой - так и остался. Фронт как был js-приложением - так и остался. Преимущества SPA от SSR никак не теряются.
Да, к сожалению, похоже, на то. Но настройки дефолтные, пароль тоже не сказал бы, что простой. А как правильно в таком случае решить вопрос? Сменить все пароли, забэкапить базу, переустановить PostgreSQL?
Советую попробовать сначала установить Ubuntu в виртуальной машине (см. VirtualBox, VMWare) - и там уже смотреть, захочется переходить на Linux полностью или нет. Это я к тому, что может вообще и не придется аналоги программ искать, если совсем не понравится, например.
ky0, официальный (deb apt.postgresql.org/pub/repos/apt stretch-pgdg main). К сожалению, в тот момент (такое пока что 2 раза происходило с периодичностью 5 дней) pg_stat_activity не смотрел :(
Roman Yakovenko, я, наверное, дурак, но серьезно не вдупляю. Я вордстатом проверил, например, "книги сергея лукьяненко" - вижу, что по поисковому запросу "сергей лукьяненко книги" почти 5к показов в месяц. Неужели если на эти страницы добавить пару абзацев о творчестве автора, а далее список его книг, то траф на такие страницы вообще прямо нулевой будет? Это не стеб, если что - просто реально интересно.
P.s. но даже если скрывать их от поисковых систем, то что это даст? Поисковые системы их расценивают как недостаточно качественные?
Roman Yakovenko, это настолько узкая тематика? Просто если вы сами пишете, что это не мусорные, а полезные для людей страницы, то почему на них нулевой траф? Я имею в виду, как вы определили, что это полезные для людей страницы?