Владимир

огромное, большое, часто - это все эммоции. нужны осязаемые метрики для того чтобы понять что Вам нужно.
после получения метрик, выстраивается понимание а как все это хранить и отдавать
так что на этот вопрос и такой постановке врядли кто-то ответит

это можно описать приблизительно так
представьте что Вы стоите в очереди за зарплатой и вот Ваша очередь подошла, вы заглядываете в окошко и тут кассир:
(print) - вот ваша зарплата
показала ее Вам и спрятала обратно в стол
(return) - получите Вашу зарплату
выдала Вам деньги в окошко
в вашей воле выбрать какой вам вариант больше нравится :)

response = requests.get(url, stream=True)
handle = open(target_path, "wb")
for chunk in response.iter_content(chunk_size=512):
    if chunk:  # filter out keep-alive new chunks
        handle.write(chunk)

rabbitmq + celery

в гугл надо вбить "websocket chat python" и будет кучища ответов

у Вас есть дата создания файла. от нее и надо отталкиваться
кроновская задачка, которая сканирует нужную папку и сносит файлы страше 5 минут

боюсь даже в гугл забить эту тему :)

если это единоразовая ситуация - напрямую залить в базу
mysql и postgres это умеют делать "из коробки"

никто не заморачивается с последующей очисткой :)
получил html и выдергивай оттуда то что тебе надо, структурируй и складывай в БД или другое место
scrapy построен также, у тебя есть прописанная конечная структура Items в которой описаны те данные, которые должны быть на выходе. и в процессе разбора html просто добавляешь нужные данные в эти Items. это все

думаю Вы просто добавили модуль, который заинсталлирован в venv и из-за этого не запускается
для этого в комманде sudo python3 /home/pi/MGS41/LightShelf1.py надо прописать правильный путь к python

откройте для себе новый мир вместе с Tornado или asyncio+aiohttp
это просто незабываемые впечатления :)

на самом деле процесс образования - это личная задача каждого. учебные заведения на самом деле учат в какие книжки смотреть и дают преподавателей, у которых можно спрашивать и проводят потом тестирование по некоторым ключевым позициям. поэтому учиться надо самому, в первую очередь.
никто и ничто не запрещает учиться дома, выполнять какие-то тестовые задачи, в процессе освоения какого-то языка программирования, а потом уже когда чувствуете что есть силы на большее , брать и заниматься фрилансом, в свободное от учебы время.
поэтому решение надо принимать самому а не спрашивать у кого-то совета :)
можно учиться и в школе и в колледже, осваивать Python + Django, делать сайты, зарабатывать первые деньги, а потом уже когда точно сформируется понимание что именно это нужно, то закрепить все знания в институте.
поэтому выбор прост - самообучение и саморазвитие в первую очередь, а потом уже надо понимать нужен ли диплом или же знания. знания первичны, диплом - как бумажка доказывающая что такие знания есть на самом деле

rabbitmq помоему хорошее решение, и зря вы его отметаете