При как обстоятельствах закрывается поток в Python?

Question

[kiddle]

Здравствуйте, начал знакомится с многопоточностью.
У меня программа запускает 3 потока, каждый парсит информацию. Почему так происходит? Если надо, я приложу код. И сколько максимум потоков можно запустить и на сколько это будет эффективно?

for _ in range(thread_col):
                        t = Thread(target=parse_info_from_link)
                        t.start()

Comments

[longclaps]

Почему так происходит?

В самом деле, почему?
Мы заинтригованы.

[kiddle]

Глупый вопрос, да?

[longclaps]

kiddle, скажем, несколько легкомысленный.

[Модератор]

Чем обоснован такой выбор тегов? Ваш вопрос не относится к конкретному языку?

Answer 1

[Andrey Dugin]

Для парсинга информации используйте асинхронное программирование (в Python 3.5+ стандартный модуль asyncio и внешняя библиотека aiohttp) и не занимайтесь ерундой с многопоточностью. Вот кусок кода из моего собственного проекта с вебсокетами:

async def run(self):
    if not self.chains:
        return
    command = f'{{"command": "subscribe", "channel": "{self.name}"}}'
    while True:
        await asyncio.sleep(len(self.exchange.markets)*random())
        try:
            async with websockets.connect(self.wss, max_queue=0) as self.websocket:
                await asyncio.wait_for(self.websocket.send(command), timeout=10)
                while True:
                    data = await asyncio.wait_for(self.websocket.recv(), timeout=20)
                    data = json.loads(data, cls=DeepDecoder)
                    asyncio.ensure_future(self.process_websocket_message(data))
        except asyncio.TimeoutError as error:
            print(f'{self.name}: WEBSOCKET_TIMEOUT: {error}')
        except websockets.ConnectionClosed as error:
            print(f'{self.name}: WEBSOCKET_CLOSED: {error}')
        except (asyncio.CancelledError, KeyboardInterrupt, SystemExit) as error:
            print(f'{self.name}: TASK_CANCELLED: {error}')
            self.clear()
            return
        except Exception as error:
            print(f'{self.name}: {error}')
        finally:
            self.clear()

Comments

[kiddle]

А почему многопоточность в этом случае не подходит?

[Andrey Dugin]

kiddle, потому что (а) threading в Python реально не работает из-за GIL (хотя в случае с ожиданием I/O может подойти), (б) с multiprocessing слишком много неоправданного геморроя и (в) асинхронное программирование предназначено именно для таких случаев, когда основное время занимает ожидание ввода-вывода, в частности - скачивание URL. И при этом с asyncio вообще не надо заморачиваться над количеством "процессов" и порядком исполнения. Фактически изменение программы сводится к добавлению слов async/await в нужных местах и небольшого дополнительного куска кода для инициализации event loop.

[Andrey Dugin]

Что такое asyncio и в чём реальное отличие от многопоточности?

[kiddle]

Андрей Дугин, почитал, клевая вещь!
А вот aiohttp сложная штука. Это что-то типа Django или Flask.

[Andrey Dugin]

kiddle, ни в какое сравнение не идёт. Всё очень просто: aiohttp.readthedocs.io/en/stable/client.html

[Andrey Dugin]

kiddle,

import asyncio
import aiohttp
from contextlib import closing

urls = ['http://yandex.ru', 'http://rambler.ru', 'http://mail.ru']

async def process(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            html = await response.text() 
            print(html[:100])

if __name__ == '__main__':
    
    with closing(asyncio.get_event_loop()) as event_loop:
        event_loop.run_until_complete(
            asyncio.gather(
                *map(process, urls)
            )
        )

[Andrey Dugin]

Вот здесь ещё привёл пример шаблона использования asyncio:
Как заставить event loop выполнять одну и ту же задачу бесконечно?

[Сергей Горностаев]

Андрей Дугин, потому что threading в Python реально не работает из-за GIL

Работает. Только надо уметь им пользоваться.

[Andrey Dugin]

Сергей Горностаев, настоящей параллельности он не даёт. Хотя с операциями I/O может прокатить, но надо уделять внимание атомарному доступу к общим ресурсам, если это критично.

[Сергей Горностаев]

Андрей Дугин, так и асинхронное выполнение - это не настоящая параллельность. Собственно, единственная реальная проблема всех скриптовых языков - это невозможность использовать настоящую параллельность предоставляемую железом, то есть мультипроцессорную обработку. Но важно доносить до новичков, что это не беда конкретно Python и что есть огромный спектр задач, который можно решать параллельно и на одном ядре. Им придётся профессионально расти ещё несколько лет прежде, чем они упрутся в ограничения GIL.

[Andrey Dugin]

Сергей Горностаев, я нигде не говорил, что асинхронность - это параллельность) Что касается распараллеливания каких-нибудь тяжёлых расчётов - ну, например, берём Numba, и вперёд. Иногда можно и просто с multiprocessing поиграться.

[Andrey Dugin]

kiddle, если понравился ответ - просьба отметить его решением.