Uno

Сайтмапы итд это замечательно конечно.
Тебе нужно реализовать программу crawler - паук, который получает на вход одну ссылку на сайт, затем с этой страницы парсит все внутренние ссылки, с каждой из них повторяет тоже самое и так до полной индексации.
Вуаля - у тебя бд со всеми страницами сайта, делай что хочешь.

Не читал подробно, по названию вопроса ясно, что твой код триггерится на сообщение.
Так заставь его работать демоном и проверять что тебе нужно всегда
Намекну - cron

выгодно быть кем угодно, если ты профессионал своего дела. А если не профессионал или не собираешься им стать, то себе в первую очередь во благо не лезь

а если в конкретике то системный и мобильный кодинг естественно сосуществуют с вебом с куда более высоким порогом входа и себестоимостью единицы времени работы

да изи. как и любой другой список с любого другого сайта

could not convert string to float: '[[140, 1], [130, 1], [150, 0], [170, 0]]'

с последнего вверх поднимайся и поймёшь в чём дело на будущее

Let's Encrypt

Хорошее портфолио в подобной сфере равносильно диплому в этой сфере

Хакер это не взломщик
Хакер это профессионал
Ораторы вышевысказавшиеся включая тс’а, пожалуйста, пользуйтесь словами зная их историческое значение, тогда и у таких тс’ов будет меньше вопросов и дезинфы, и вопросов такого рода в целом будет меньше
А набить решения можно в темах, в которых разбираетесь
Лучше бы заняли его правильной постановкой задач и конкретизацией целей

мне в моё время вышло бесплатно, хайповую идею придумал, 110к человек собрал
готовую покупать ни в коем случае не стоит. Это револьвер с пятью патронами в барабане из четырех
пусть лучше выглядит пустой, чем будет с ботами
грамотная реклама вашего продукта это грамотный результат

в 4 beautifulSoup'e помоему по-другому селекция по классу происходит.
.find('a', {'class':'abcdef'})

это называется банкомат...

$file = file_get_contents("file.html");
$newHTML = preg_replace(); //сам прочитай как работает эта ф-ия
file_put_contents("file.html", $newHTML);

А шо ты хотел? Универсальный стандарт? Знаешь сколько за год новых продуктов появляется для js?

Для конкретных задач подходят конкретные инструменты. Для конкретных инструментов нужны конкретные от тебя запросы. Для конкретных запросов нужны конкретные познания фундаментальных основ

Есть еще два варианта: выбирать из того что советуют и выбирать из симпатии к названию/описанию.

А порядок таков: интернет, компьютерные сети, клиент-серверной архитектуры приложения, базы данных, основы системного администрирования, веб разработка (фронт, бэк и обслуживающее это всё ПО), архитектура веб приложений, программирование

Копать инфу по каждой теме из порядка, пока не сможете:
А)сами ответить на свой топик
или
Б)вести монолог на любую из этих тем хотя бы 5 минут

Ну это все структурированный вариант. А если простыми словами - видосы, статьи, читать все самоуроки и самоучители, и, дай бог, недели через две что-то да из задуманного накидаете в виде приемлимого прототипа.

решит дебаг

А может быть у вас проблема не в архитектуре сети а все таки в архитектуре продукта?