Владимир

никто не заморачивается с последующей очисткой :)
получил html и выдергивай оттуда то что тебе надо, структурируй и складывай в БД или другое место
scrapy построен также, у тебя есть прописанная конечная структура Items в которой описаны те данные, которые должны быть на выходе. и в процессе разбора html просто добавляешь нужные данные в эти Items. это все

думаю Вы просто добавили модуль, который заинсталлирован в venv и из-за этого не запускается
для этого в комманде sudo python3 /home/pi/MGS41/LightShelf1.py надо прописать правильный путь к python

откройте для себе новый мир вместе с Tornado или asyncio+aiohttp
это просто незабываемые впечатления :)

rabbitmq помоему хорошее решение, и зря вы его отметаете

Metalofon NT написал правильно
но вопрос простой как двери - а зачем эти лямбда функции ?
они упрощают написание кода (вбить 10 символов вместо 30) но затрудняют понимание и новый человек, когда разбирается что тут собственно происходит, ему очень трудно в это вникнуть. так что, если Вам не идут лямбды - пишите обычные, и ничего в Вашей жизни не будет затрудненно :)

посмотрите в сторону Celery

тулза для преобразования pdf -> txt
пробежали по архивам и вкинули данные в БД
пользователь ищет по БД, находит свою запись и там же есть ссылка на архивный файл с pdf
как-то так. в качестве БД можно использовать любою, желательно nosql

asyncio + aiohttp

import csv

csv.register_dialect('pipes', delimiter=':')

with open('testdata.pipes', 'r') as f:
    reader = csv.reader(f, dialect='pipes')
    for row in reader:
        print row

1. переименовать файл в zip
2. распаковать архив в папку
имеем кучу чудесных xml файлов. разбираем, парсим, забирам данные
собственно так библиотеки и работают с этим форматом, но иногда парсить xml намного удобнее :)

используйте Celery для Вашей задачи

а что мешает посчитать позицию в query этого id ?

поставьте себе pycharm, к примеру, и не будет таких проблем. гвозди надо забивать молотком, а шурупы закручивать отверткой.
так же у Вас появится возможность дебага кода. как люди вообще без этого живут, не понимаю :)

# -*- coding: utf-8 -*-
print(u"Вычисление НОД")

first_num = int(input(u"Введите первое число: "))
second_num = int(input(u"Введите второе число: "))


def NOD(x, y):
    while y != 0:
        x, y = y, x % y
    return x


print(u"НОД = {0}".format( NOD(first_num, second_num)))