Как обновлять содержимое страницы, получаемое парсингом другой страницы в Flask?

Question

[Mist8]

Есть базовый код Flask, типа такого:

from flask import Flask
from test import text

app = Flask(__name__)

@app.route('/')
def main_page():
    return text

if __name__ == '__main__':
    app.run()

И есть модуль, который парсит содержимое страницы в интернете, например:

from bs4 import BeautifulSoup
import urllib.request

x = urllib.request.urlopen('http://www.example.com')
soup = BeautifulSoup(x)
text = str(soup.body.p)

Мне нужно сделать так, чтобы с некоторым интервалом переменная text обновлялась (т.е. постоянно парсилась страница и результат был доступен для отображения на моем сервере Flask'ом).

Но у меня получается так, что переменная text в модуле парсится один раз, и страница на моем сервере всегда отображает то, что было спарсено один раз.

Не понимаю как мне сделать так, чтобы переменная text парсилась с интервалом времени и была доступна для обработки скриптом Flaska.

Не знаю в какую сторону гуглить.

Answer 1

[Tark]

Вариант первый, не очень хороший:

from flask import Flask
import test  # именно так

app = Flask(__name__)

@app.route('/')
def main_page():
    # постоянно актуальная информация, даже если переменная изменится в другом месте
    return test.text

if __name__ == '__main__':
    app.run()

Это плохо тем, что работать будет только с одним воркером. То есть если у вас uwsgi, скажем, с двумя процессами, то часть запросов будет попадать на "старое" значение test.text. Если принудительно работать с одним воркером, будет работать правильно.

Вариант второй, получше: использовать кеш или БД.

Comments

[Mist8]

Tark попробовал, не работает. При изменении текста на странице, которая парсится, и последущем обновлении страницы, которую создает flask - текст не меняется. Это может быть связано с тем, что я запускаю flask на localhost?

Ещё не понятно, как устроен процесс в фласке. Когда кто-то открывает страницу на моем сервере - flask выполняет команду request по-новому обсчитывая, или один раз выполнив - сохраняет в памяти и потом берет оттуда?

[Tark]

Mist8, судя по коду "например", парсинг выполняется всего один раз... А вот если будет Flask запускать парсинг, например, при обращении к какой-то странице, то всё будет работать.

[Mist8]

Tark: не понимаю механизма. Когда я захожу на главную страницу: '/" - я обращаюсь к ней, Flask запускает парсинг. Когда я эту страницу обновляю - я снова к ней обращаюсь (это новый запрос GET - в логах видно). Почему парсинг снова не запускается? Как сделать чтобы он запускал?

Попробовал ради эксперимента сделать две страницы с разными (по названию) функциями, с одинаковым кодом return test.text. Зашел на первую - спарсился текст. Поменял текст на странице, откуда парсится, и зашел на вторую страницу на своем сервере - текст остался старый. Т.е. скрипт даже в новой функции не стал снова запускать модуль "например".

[Tark]

Mist8, а парсинг точно запускается? И результат сохраняется? А то как-то непонятно. А что с кешированием страниц в браузере? Может быть, там возвращается код Not Modified и страница сервером просто не обновляется? В Pyramid можно в декораторе указать http_cache=0 для того, чтобы страница каждый раз сгенерировалась заново, подобный функционал есть и в Flask.

[Tark]

Да, кстати. return test.text возвращает уже имеющийся результат, а не запускает парсинг заново (на всякий случай)

[Mist8]

Tark: не понял вопрос про то запускается ли парсинг. Один раз точно запускается. В следующие - видимо нет. Результат сохраняется куда? результат парсинга (вывод на страницу моего сервера) меняется после перезапуска сервера, если меняется страница, которая парсится.
Попробовал открыть в разных браузерах (сначала в одном, потом не перезагружая Flask, в другом) - одно и то же. На счет генерации страницы - поищу, но мне кажется проблема в том, что модуль выполняется один раз, а потом результат берется уже из памяти.

[Tark]

Если код совсем такой, как в блоке "например", то парсинг будет выполняться один раз - сразу после запуска сервера. Если нужно, чтобы парсинг выполнялся при каждом заходе на определённую страницу, сделайте функцию, которая будет парсить и возвращать результат.

def parse_this():
    x = urllib.request.urlopen('http://www.example.com')
    soup = BeautifulSoup(x)
    return str(soup.body.p)

Для того, чтобы страница генерировалась строго каждый раз, используйте декоратор nocache со следующим содержимым:

from flask import make_response
from functools import update_wrapper

def nocache(f):
    def new_func(*args, **kwargs):
        resp = make_response(f(*args, **kwargs))
        resp.cache_control.no_cache = True
        return resp
    return update_wrapper(new_func, f)

@nocache
@app.route('/')
def main_page():
    return parse_this()

[Mist8]

Tark: спасибо, работает!