Как сделать, чтобы парсер правильно обновлял данные и отправлял пользователю?

Question

[xaxle12]

Бот парсит сайт, отправляет данные пользователю по запросу. Данные парсятся до отправки пользователю, они должны обновляться каждые n минут (я отказался от парсинга после запроса пользователя для того, чтобы не было много запросов на сайт, проще спарсить 1 раз, а потом отправить эти данные всем, кому они нужны). Проблема заключается в том, что не могу нормально настроить повторный парсинг. Скиньте пожалуйста пример кода (можно с print(data) в качестве примера).
while как я понял не подходит в данном случае, так как он просто будет парсить без остановки каждые n минут и так и не перейдёт к отправке данных пользователю

import requests
import telebot
from bs4 import BeautifulSoup as b

URL = 'site'
API_KEY = 'key'

r = requests.get(URL)
soup = b(r.text, 'html.parser')
data1 = soup.find_all('textarea', class_='form-control')
data2 = [c.text for c in data1 ]
s = ''.join(data2 )
data3 = s[38:]
data4=data3.split("\n")
part1, part2 = "\n".join(data4[:len(data4)//2]), "\n".join(data4[len(data4)//2:])
bot = telebot.TeleBot(API_KEY)


@bot.message_handler(commands=["start"])
def start(m, res=False):
    bot.send_message(m.chat.id, 'Type /now and get a list')


@bot.message_handler(commands=['now'])

def answer(message):
    bot.send_message(message.chat.id, part1)
    bot.send_message(message.chat.id, part2)
bot.polling()

Answer 1

[goctio]

Дали мало данных для ответа, хоть бы пример кода оставили...

Насколько я понял, ваш бот работает в однопоточном режиме, и если запускаете цикл - он перестает выполнять остальные функции.

В этом случае поможет либо асинхронность, либо создание отдельного потока. В первом случае это создание бота на aiogram (не знаю для телеграма пишите или нет), во втором случае библиотеки Thread или Asyncio.

Comments

[xaxle12]

Да, телеграм.
Вот код:

import requests
import telebot
from bs4 import BeautifulSoup as b

URL = 'site'
API_KEY = 'key'

r = requests.get(URL)
soup = b(r.text, 'html.parser')
data1 = soup.find_all('textarea', class_='form-control')
data2 = [c.text for c in data1 ]
s = ''.join(data2 )
data3 = s[38:]
data4=data3.split("\n")
part1, part2 = "\n".join(data4[:len(data4)//2]), "\n".join(data4[len(data4)//2:])
bot = telebot.TeleBot(API_KEY)


@bot.message_handler(commands=["start"])
def start(m, res=False):
    bot.send_message(m.chat.id, 'Type /now and get a list')


@bot.message_handler(commands=['now'])

def answer(message):
    bot.send_message(message.chat.id, part1)
    bot.send_message(message.chat.id, part2)
bot.polling()

[xaxle12]

xaxle12, вот эту часть не знаю как поставить на повтор

r = requests.get(URL)
soup = b(r.text, 'html.parser')
data1 = soup.find_all('textarea', class_='form-control')
data2 = [c.text for c in data1 ]
s = ''.join(data2 )
data3 = s[38:]
data4=data3.split("\n")
part1, part2 = "\n".join(data4[:len(data4)//2]), "\n".join(data4[len(data4)//2:])

с ботами, да и вообще с питоном знакомиться начал только в последнюю пару дней из-за необходимости в создании бота, поэтому многое не понимаю

[goctio]

from threading import *

x = ''

def get_requests(x):
	# Вечный цикл обноавления данных
	while True:
		r = requests.get(URL)
		soup = b(r.text, 'html.parser')
		data1 = soup.find_all('textarea', class_='form-control')
		data2 = [c.text for c in data1 ]
		s = ''.join(data2 )
		data3 = s[38:]
		data4=data3.split("\n")
		part1, part2 = "\n".join(data4[:len(data4)//2]), "\n".join(data4[len(data4)//2:])
		
if __name__ == '__main__':
	# x - обязательный аргумент, он создан выше, нигде не используется, нужен для запуска потока
	start_get_requests = Thread(target=get_requests, args =(x,))
	start_get_requests.start()
	# Старт бота
	bot.polling()

Программу стоит запускать с конструкции

if __name__ == '__main__':

Затем создаете поток, в котором бесконечно крутится ваш сборщик данных, а затем запускаете сам бот.

Но лучше для написания таких ботов использовать все-таки Aiogram.

[goctio]

Следующая проблема с которой столкнетесь - это локальные переменные. Внутри функции, любые переменные становятся локальными, и не видятся другими функциями. Чтобы избежать этой проблемы, необходимо в функции объявлять глобальные переменные.

Хранить данные нужно в глобальных переменных, видимые всеми функциями.

Пример кода:

import os

x = 123

def func():
	global x
	print(x)

if __name__ == '__main__':
	func()

[xaxle12]

goctio, всё заработало. Спасибо большое. Если не затруднит, проверьте пож-та код, а то хоть и работает, но ощущение, что где-то криво.

from threading import *
import requests
import time
import telebot
from bs4 import BeautifulSoup as b

URL = 'site'
API_KEY = 'key'
bot = telebot.TeleBot(API_KEY)

x = ''

def get_requests(x):

  while True:
    r = requests.get(URL)
    soup = b(r.text, 'html.parser')
    data1 = soup.find_all('textarea', class_='form-control')
    data2 = [c.text for c in data1 ]
    s = ''.join(data2 )
    data3 = s[38:]
    data4=data3.split("\n")
    global part1
    global part2
    part1, part2 = "\n".join(data4[:len(data4)//2]), "\n".join(data4[len(data4)//2:])
    time.sleep(60)
    
if __name__ == '__main__':
  start_get_requests = Thread(target=get_requests, args =(x,))
  start_get_requests.start()

  @bot.message_handler(commands=["start"])
  def start(m, res=False):
    bot.send_message(m.chat.id, 'Type /now')


  @bot.message_handler(commands=['now', 'Now', 'NOW'])
  def answer(message):
    bot.send_message(message.chat.id, part1)
    bot.send_message(message.chat.id, part2)
  bot.polling()

Про global отдельное спасибо, как раз понять не мог, как добавить переменную в другую функцию.