Почему так долго обрабатывается запрос?

Question

[askhabaliev]

import requests
import pandas as pd
import numpy as np
import datetime as date
import pandahouse as ph
import matplotlib.pyplot as plt
import xml.etree.ElementTree as et
from prophet import Prophet


daterange = pd.date_range('2020-06-01', '2020-10-31')


currencies = pd.DataFrame()
info_currencies = pd.DataFrame()

for single_date in daterange:
    date = single_date.strftime("%d.%m.%Y")
    url = 'http://www.cbr.ru/scripts/XML_daily.asp?date_req=%s' % date
    root = et.fromstring(requests.get(url).content)
    
    for item in root.findall('.//Valute'):
        data = {}
        for child in list(item):
            data.update({child.tag: child.text})
        currencies = currencies \
        .append({'name': data['CharCode'], 'value': data['Value'], 'date': date}, ignore_index=True)
        info_currencies = info_currencies \
        .append({'name': data['CharCode'], 'dsh': data['Name']}, ignore_index=True)

днем все за пару секунд грузилось

сейчас приходится ждать 10 минут или вообще замыкает

Comments

[pfg21]

натыкай принтов с отметками времени и посмотри в каком месте затык.

[askhabaliev]

pfg21, всегда по разному

вывожу в принтерном даты по разному остановка происходит

но без ошибок

[Сергей Горностаев]

askhabaliev, лучше использовать полноценный профайлер вместо принтов. Правда, в вашем коде тормозить может ровно одно место - обращение к cbr.ru. Может вы их слишком часто дёргали и вам ограничили доступ?

Answer 1

[Сергей Тихонов]

Если днем всё работает быстро при абсолютно тех же параметрах, значит дело в инете или сервере cbr.ru. Тут особо не поможешь, кроме как распараллелить запросы вместо их последовательного выполнения в цикле.