Добрый вечер.
Ловлю ошибку -
Segmentation fault(core dump)
Гугление выдает очень много разных вариантов происхождения этой ошибки. Что происходит в данном случае не знаю, отдебажить тоже не смог(
from queue import Queue
from threading import Thread
from grab import Grab
def do_work(link):
g = Grab()
g.setup(timeout=30, connect_timeout=5)
g.go(link)
print(q.qsize())
def worker():
while True:
link = q.get()
do_work(link)
q.task_done()
q = Queue()
num_worker_threads = 50
for i in range(num_worker_threads):
t = Thread(target=worker)
t.daemon = True
t.start()
list_urls = [
# big list with urls
]
for item in list_urls:
q.put(item)
q.join()
