В общем, решил проблему сменив библиотеку на Pyrogram
Сессии сохраняются, подключается, с аккаунтов не выкидывает, по поводу ID канана мозги не компосирует.
from pyrogram import Client
from pyrogram import types, filters
from pyrogram.handlers import MessageHandler
CHANNEL_ID = -1001834701763
app = Client("my_account")
@app.on_message(filters=filters.channel)
async def my_function(client, message):
if message.chat.id == CHANNEL_ID:
t = message.text
print(t)
my_handler = MessageHandler(my_function)
app.add_handler(my_handler)
app.run()