seosova: Вряд ли pylint руководствуется такими соображениями, скорее всего у него просто проверка на то, что если переменная глобальная, то имя должно содержать только заглавные буквы. Но то, что стоит стараться выполнять поменьше кода(а в идеале вообще не выполнять) на стадии импорта - правильно.
seosova: у вас блок while находится на самом верхнем уровне, соответственно все что выполняется внутри него засоряет глобальное пространство имен, я немножко поменял ответ, оберните ваш цикл в функцию, тогда pylint не будет ругаться. Так лучше, т.к. не желательно выполнять какой либо код на самом верхнем уровне скрипта, представьте, что кто-то импортирует ваш скрипт из своего.
LeEnot: вы меня заставляете парировать идиотскими аргументами вроде: "если вы не сталкивались с нужными вещами под тройку - это не значит, что их нет". И опять же, как мои слова противоречат вашим? В чем ваш поинт?
LeEnot: Собственно это не отменяет совета начинать с тройки, просто можно было более развернуто ответить, что все новые проекты надо писать на тройке, а двойка только если надо поддерживать легаси код или стек технологий по каким-либо причинам только под двойку, в остальных случаях приоритет - тройка. Но все это тс и так поймет со временем, так что не вижу причин фигеть.
mad_god: ну с диска явно быстрее должно быть, чем из сети, если только речь не идет о каком-то дата-центре. Можно еще проверить сколько времени обрабатываются данные, без сохранения в базу. Если все же проблема именно в записи в БД - можно попробовать многопоточную запись, многие пишут, что sqlite не ее поддерживает, но в документации написано, что можно. Если и это не поможет - попробуйте сменить бд на PostgreSQL, MySQL(MariaDB). Еще можно попробовать использовать какой-нибудь ORM, тогда вам будет очень просто переключаться между разными субд, SQLAlchemy, Peewee, Pony.
Вы уверенны, что у вас затык именно в бд, откуда вы берете данные для базы? Если вытягиваете из интернета, то это может быть большей проблемой, чем запись в sqlite.
Вы задали вопрос, на который вряд ли кто ответит. Сформулируйте так, чтобы было понятно, что конкретно вам нужно. А то у вас есть уже четыре(!) разных варианта ответов, но так и не понятно чего вы хотели и приблизился ли кто-то из отвечавших к решению. Как будто первый день на тостере.
alexxandr: а что им мешает внутри раскидать вычисления по разным потокам? я просто довольно плохо понимаю GIL, да и в англоязычном интернете что-то не могу найти, влияет ли GIL на библиотеки, написанные на С.
