d'Ivan

Пакет libev не установлен в Alpine.
Если этого недостаточно, тогда пиши автору в https://github.com/jonashaag/bjoern/issues

Для решения первой проблемы:
sudo apt-get install pkg-config
Для решения второй лучше использовать виртуализацию. Docker или виртуализацию ОС

Прочесть документацию по установке и FAQ.

По мне, так проще всего импортировать как CSV в СУБД в таблицу с первичным ключом bigint и колонкой типа строка.
Зная общее количество записей, просто берем случайное число в диапазоне 1..count и с SQL ищем запись под этим первичным ключом.
Тогда ничего мудрить и не нужно.

Можно обвернуть системный вызов в async функцию и использовать await.
https://realpython.com/async-io-python/#the-asynca...

Добавлено:
а нельзя ли просто сделать вывод в stdout и поточное чтение с вывода:
python prog1.py | python prod2.py
?

Connection string включает SSL, насколько я понял?

psycopg2.InterfaceError: connection already closed
Дальнейшие попытки обращения к БД дают ту же ошибку,
psycopg2.InterfaceError: connection already closed
Ошибка исправляется только перезапуском postgresql и затем приложения.

Что в логах? Мониторинг СУБД имеется? Что там интересного в тот момент?
Какой лимит соединений выставлен?
Зачем открывается соединение СУБД каждый раз? Используй connection pool.

Проверь расход памяти, раздела подкачки, места на диске.
Добавь журналирование для отладки в критичных местах.
Пропробуй отладку с помощью Process Monitor или аналогичных средств.

Если на скорую руку, то при помощи сериализации Pickle или JSON/XML.
Или по-хорошему, в СУБД. Тогда нужно проектировать БД. Но зависит и от объемов данных. Не всегда целесообразно, особенно если их мало.

Можно выполнить команду
split book.txt -l 100000
обвернув в системный вызов в Питоне.

Не нужно перезаписывать файл заново.
with open("file.txt", "w") as f:вынести за цикл for.
Закрывать файл нужно только после for.

Установить плагин https://github.com/danhper/asdf-python к asdf.
Если нужно лишь для некоторого проекта, то можно и с Docker.

По-моему, вместо

result = channel1.find_one({"guild_id": ctx.guild.id, "channel_id": channel.id})
            if result is None:
                channel1.insert_one({f"guild_id": ctx.guild.id, "channel_id": channel.id})
                await ctx.send(f'{ctx.author.mention}, канал успешно установлен на {channel.mention}.')
            elif result is not None:
                channel1.update_one({"guild_id": ctx.guild.id}, {"$set": {"channel_id": channel.id}})
                await ctx.send(f'{ctx.author.mention}, канал изменён на {channel.mention}.')

Просто в опциях запроса update_one указать upsert=True.

https://docs.mongodb.com/manual/reference/method/d...

При помощи IPC, в общем случае.
В частности, multiprocessing.
Или, как другой вариант, использовать zeromq.

Формат ZIP поддерживает стриминг данных файлов. Нужно просто для каждого CSV сначала генерировать заголовок, а затем отдавать строчку с данными генератору CSV. Тот, в свою очередь, должен заполнять буфер для стриминга Deflate.

Не нужно путать GZip и ZIP. Это совершенно разные форматы. ZIP - это контейнер (архив) для множества файлов и поддерживает различные виды сжатия. А GZip представляет из себя формат для стриминга лишь одного файла.

Совсем недавно наткнулся на описание одной специализированной СУБД.
https://milvus.io/docs/v2.0.0/overview.md
Попробуй. Может, подойдет.

Википедия

Есть подозрение на разницу в Python 2/3. Проверь, что используется одна и та же версия.