Как ускорить метод users.get?

Question

[drrsanPy]

Есть данная функция:

def get_users(user_id):
    friends = session.method("friends.get", {"user_id": user_id})
    for friend in friends["items"]:
        user = session.method("users.get", {"user_ids": friend})

        print(f"{user[0]['first_name']} {user[0]['last_name']} - {user[0]['id']}")
        user_id2 = {user[0]['id']}

        try:
            friends1 = session.method("friends.get", {"user_id": user_id2})
            for friend2 in friends1["items"]:
                user2 = session.method("users.get", {"user_ids": friend2})
                print(f"| {user2[0]['first_name']} {user2[0]['last_name']} - {user2[0]['id']}")
        except:
            print("private")

Как сделать, чтобы друзья появлялись быстрей? Библиотека - vk-api

Comments

[iBird Rose]

я в синтаксисе питона не сильно шарю. но правильно я понимаю что ты делаешь users.get запрос на каждый id?
когда по правильному users.get в поле user_ids может принимать список ids

[drrsanPy]

iBird Rose, верно, я не знаю как иначе

[iBird Rose]

drrsanPy, ну ты в friends.get получил людей. теперь вытащи оттуда их id и сделай переменную, которая будет строковой и состоять из всех этих ids через запятую. ее один раз скармливай в users.get.
только учти что users.get в user_ids можно максимум 1000 айдишников. возможно придется разделять и еще раз users.get делать

[bituke]

def get_users(user_id):
    friends = session.method("friends.get", {"user_id": user_id})["items"]
    user_data = []
    for friend in friends:
        user_data.append(session.method("users.get", {"user_ids": friend})[0])
        
    for user in user_data:
        print(f"{user['first_name']} {user['last_name']} - {user['id']}")
        friend_ids = session.method("friends.get", {"user_id": user['id']})["items"]
        if friend_ids:
            for friend_id in friend_ids:
                try:
                    friend_data = session.method("users.get", {"user_ids": friend_id})[0]
                    print(f"| {friend_data['first_name']} {friend_data['last_name']} - {friend_data['id']}")
                except:
                    print("| private")
        else:
            print("| no friends")

Answer 1

[Сергей П]

Вся проблема у вас из-за того, что вы тут делаете много http-запросов к API. Это в любом случае будет не быстро.
Вам нужно изучить API на предмет bulk-запросов, когда вы извлекаете сразу много записей одним http-запросом к API.
На сколько я понимаю, друзей может быть очень много, а вы идёте в глубину на два яруса, что имеет квадратичную сложность. То есть если у всех в среднем 10 друзей, то вы сделаете по десять запросов на каждого из десяти дррузей, что очень долго - 100 запросов!

Для начала вы можете кэшировать полученные от API данные, чтобы повторно не получать одни и те же, если есть общие друзья. Нужно найти bulk-методы в API и правильно их использовать (если они есть).

Ещё можно построить работу с такими операциями на асинхронных механизмах, воркерах и тасках. Долгие запросы с кэшированием должны делать специальные воркеры - отдельные процессы, которым скидываются задания через очередь. По факту выполнения ими возвращаются результаты, или кладутся в локальную БД. Это позволит не блокировать основной поток выполнения программы на такие долгие операции.

Comments

[drrsanPy]

максимум, что мне удалось - это найти всех друзей моментально одного человека. Я думаю это возможно, если мне удалось сделать хотя бы это. А запрос на друзья друзей быстро я не знаю как сделать.

[Сергей П]

drrsanPy, если нет в АПИ готового метода, то никак. Можно построить логику проекта так, чтобы быстрого результата не требовалось, но и приложение не висело, а параллельно тянуло инфу, возможно с избыточность, иногда с запасом, кешировало всё что можно.
Можно поменять местами какие-то этапы работы приложения, заранее загружать друзей-друзей, даже если еще не известно, что они понадобятся.
Вам бы про кэширование и асинхронность поизучать.

[soremix]

drrsanPy, в доке первой же строкой написано

user_ids - Перечисленные через запятую идентификаторы пользователей или их короткие имена (screen_name). По умолчанию — идентификатор текущего пользователя.

Так что собираете все id друзей и шлете их разом

def get_users(user_id):
    friends = session.method("friends.get", {"user_id": user_id})
    user_ids = ','.join(friends['items'])
    users = session.method("users.get", {"user_ids": user_ids})

как-то так

[Сергей П]

soremix, да разве ж тут кто читает доки? Можно ж приёти и спросить.
С ужасом представляю себе сколько таких погромистов появится когда они догадаются, что быстрее и эффективнее задавать такие вопросы ChatGPT, чем немного токсичному сообществу экспертов на таком ресурсе как наш. Чатжпт не пошлёт гуглить, читать мануалы, и не откажется решать за двоечника его тестовые учебные задания.
В интересное время живём. Интересно. кто-то уже пробовал натравить нейросеть на вопросы с этого ресурса?=) Надо как-то продумать составить префикс промта, чтобы нейронка уяснила специфику ресурса.

[Antonio Solo]

Сергей Паньков, я с ужасом смотрю на тех кто сейчас идет со всяких курсов. такое ощущение что им там внушают мысль "ты гений и никакие мануалы тебе не нужны"

 p.s. я пару вечеров поигрался с чатгпт - школьные задачки он решает вполне себе неплохо. многие даже работают сразу.