Задать вопрос
@ili_vit

Нормально ли что парсинг занимает много оперативки?

хотел узнать мнения сообщества об эффективности моей программы - есть парсер, обрабатывающие страницу, собирает ссылки и сохраняет их в файл. И в диспетчере задач смотрю, что программа занимает 300 мб( и продолжает расти), так и должно быть или я де то ошибся.(Сама программа работает)
Сам код
from urllib.request import urlopen
import time
from bs4 import BeautifulSoup
def Parse(url) -> list:
    ###ссылка на сайт inner_html_code = str(urlopen(url)
    inner_soup = BeautifulSoup(inner_html_code, "html.parser")
    inner_soup = inner_soup.find("body")
    inner_soup = (inner_soup.find_all("td", {'valign':"top", "width":"150"}))
    list = []
    for a in inner_soup:
        if a.find("a"):
            list.append((###ссылка))
    return list
for i in range(25,5025,25):
    list = Parse(i)
    with open("D:\Result\Result.txt", "a" ) as F:
        for a in list:
            F.writelines(a + '\n')
    time.sleep(90)
  • Вопрос задан
  • 231 просмотр
Подписаться 2 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 2
Mike_Ro
@Mike_Ro
Python, JS, WordPress, SEO, Bots, Adversting
Профилировщик - загуглить, что это такое, проверить на своём коде и уже затем, прийти сюда с более конкретными вопросами.

Профилирование Python — почему и где тормозит ваш код
Ответ написан
Комментировать
Lord_of_Rings
@Lord_of_Rings
Дунадан - северный странник. Злой, но очень добрый
Похоже, что нормально... Серьезно, это в любом случае ненормально. Даже если вы парсите все дата-центры гугля, программа не должна есть стоько места (у нормального программиста, конечно)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы