Aiohttp, перестройка кода для загрузки фотографий?

Question

[hahefle]

здравствуйте, заметил что скрипт выполняет действия довольно долго, и мне посоветовали aiohttp, но при этом посмотрев много гайдов и форумов, так и не понял как можно перестроить этот код для aiohttp(/aiovk)
(vk-api-proxy.. отвечает быстрее впн+ВК апи, так что в этом не может быть проблемы со скоростью выполнения)

import requests
import json
import re

token = 'token'
version = '5.95'
alb = '270716038'
img = './photosvk/'
adres = ''  #оставлять пустым
img_url = '' #оставлять пустым
chek = int(0)

for i in range(1000):

        f = open('filelist.txt')   # filelists.txt <- файл с названием.расширением фото(построчно) 
        line = f.readline().rstrip('\r\n')
        while line:
                    adres = img + line
                    print(chek)
                    chek += int(1)
                    def get_url():
                        r = requests.get('https://vk-api-proxy.xtrafrancyz.net/method/photos.getUploadServer',
                                         params={
                                             'access_token': token,
                                             'album_id': alb,
                                             'v': version
                                         }).json()
                        return r['response']['upload_url']


                    url = get_url()

                    file = {'file1': open(adres, 'rb')}
                    ur = requests.post(url, files=file).json()
                    result = requests.get('https://vk-api-proxy.xtrafrancyz.net/method/photos.save',
                                          params={
                                              'access_token': token,
                                              'album_id': ur['aid'],
                                              'server': ur['server'],
                                              'photos_list': ur['photos_list'],
                                              'hash': ur['hash'],
                                          'v': version,

                                      }).json()
        open(adres).close
        line = f.readline().rstrip('\r\n')
        f.close()
        print ('finish')

Comments

[Влад Григорьев]

это не код а хрень какая-то не логичная.
судя по всему у вас часть строк съехала по отступам
А так выносите всю логику загрузки изображения в функцию и запускаете ее для каждой строки
примерно так:

import asyncio


async def upload_img(line):
    print(line)


async def _main():
    with open('tmp_img_list.txt') as file:
        await asyncio.gather(*(
            upload_img(v.strip()) for v in file.readlines()
        ))


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(_main())
    loop.close()

ну и все загрузки тоже вместо request aiohttp

[hahefle]

Влад Григорьев, как раз таки ничего не съезжало, ибо скрипт повторял только 1 раз, и благодаря for i in range пришлось столько отступов делать.

[Влад Григорьев]

hahefle, если нужно повторять только один раз, то и цикл не к чему

[AWEme]

hahefle, а скрипт вообще завершает работу?

[hahefle]

Влад Григорьев, скрипт нужно повторять 1к+ раз

[hahefle]

AWEme, после for i in range (1000), тоесть через 1000 раз он завершается

[Влад Григорьев]

hahefle, ну по коду вы тыщу раз одно и тоже делаете. и зачем не понятно

[AWEme]

hahefle, неа. Я так не думаю.

[hahefle]

Влад Григорьев, загрузка фото на сервер ВКонтакте, и добавление в альбом с помощью хеша и тп.

[hahefle]

AWEme, я проверял) заканчивается после 1к, принтом finish

[AWEme]

hahefle, значит с отступами полнейшая беда.

[Влад Григорьев]

hahefle, ну в любом случае можете использовать мой пример, если надо повторять то повторяйте.
и если line = f.readline().rstrip('\r\n') не внутри цикла while у вас будет бесконечный цикл, если конечно же он изначально хотя бы попадает в него.

[hahefle]

AWEme, почему беда? range стоит 1к, и повторяет 1к, что не так?

Answer 1

[Пума Тайланд]

А не проще просто в много потоков запускать? То есть десять копий скрипта, полторы переделок зато сразу ускорение в количество потоков

Comments

[hahefle]

легче, но желательно нужен скрипт один

[Пума Тайланд]

hahefle, так он и будет один, просто номер передавать ему в параметрах