Где ошибка в парсере?

Question

[NoAlazar]

Делал парсер по тутору с Хабра, и что то не работает. В файл Json сохраняет только "{}". Почему?

Вот сам код:

from bs4 import BeautifulSoup
import random
import json
import requests
import datetime
from fake_useragent import UserAgent

ua = UserAgent()

headers = {
    'accept': 'application/json, text/plain, */*',
    'user-Agent': ua.google,
}

article_dict = {}

for i in range(1, 4): 
    url = f'https://habr.com/ru/top/daily/page{i}/' 
    
    req = requests.get(url, headers=headers).text 

    soup = BeautifulSoup(req, 'lxml') 
    all_hrefs_articles = soup.find_all('a', class_='tm-article-snippet__title-link') 
    
    for article in all_hrefs_articles:
        article_name = article.find('span').text 
        article_link = f'https://habr.com{article.get("href")}'
        article_dict[article_name] = article_link 

with open(f"articles_{datetime.datetime.now().strftime('%d_%m_%Y')}.json", "w", encoding='utf-8') as f: 
    try:
        json.dump(article_dict, f, indent=4, ensure_ascii=False)
        print('Статьи были успешно получены')

    except:
        print('Статьи не удалось получить')

Comments

[сергей кузьмин]

напечатайте что в article_dict
испльзвуя например pprint
может вы не сумели с bs отпарзить страницу

https://habr.com/ru/articles/top/daily/page2/
$("a.tm-article-snippet__title-link")
null

[Алан Гибизов]

Код из-за комментов, которые вы скопипастили, плохо читаем. Кроме того, лучше разделить код на функции и отлаживать их по-отдельности. Пусть одна готовит конфиги, другая скрапит данные с сайта, третья их парсит, четвертая пишет в файл, и т.п.
Ну и пользуйтесь дебаггером.

А в этой лапше как предлагаете разбираться? Мысленно интерпретировать код и следить за кучей переменных и дебажить мысленно? И мысленно скачивать данные и смотреть, что там скачалось?

[NoAlazar]

сергей кузьмин, хм, теперь вывело текст с article_dict, и потом вывело Статьи не удалось получить...
Тэкс, теперь бы понять где ошибка...

[NoAlazar]

Алан Гибизов, Не, ну я не настолько хорошо все умею, для меня разделение кода пока сложно. (прошу прощения за коментарии в коде, сейчас приберу)

[Алан Гибизов]

NoAlazar, да не, это я не призываю прибирать, просто обращаю внимание. Комменты вообще стоит ставить только там, где они явно нужны; грубо говоря, не надо на строку а += 1 ставить коммент "увеличиваем а на один"

[NoAlazar]

Алан Гибизов, я их ставлю для себя всегда, по привычке, что бы там где скопипастил сам мог разобраться что к чему

[сергей кузьмин]

путь поправьте NoAlazar,
напр. $("a.tm-title__link")

[NoAlazar]

сергей кузьмин, вот так?

all_hrefs_articles = soup.find_all("a.tm-article-snippet__title-link")

[сергей кузьмин]

NoAlazar, нет css selector который я попробовал в хроме буквально копировать не надо - как надо почитайте документацию

Answer 1

[Борис Мацегора]

from bs4 import BeautifulSoup
import random
import json
import requests
import datetime
from fake_useragent import UserAgent

ua = UserAgent()

headers = {
    'accept': 'application/json, text/plain, */*',
    'user-Agent': ua.google,
}

article_dict = {}

for i in range(1, 4): 
    url = f'https://habr.com/ru/top/daily/page{i}/' 
    
    req = requests.get(url, headers=headers).text
    soup = BeautifulSoup(req, "html.parser") 
    all_hrefs_articles = soup.find_all("a", class_='tm-title__link')
    #print(all_hrefs_articles)
    for article in all_hrefs_articles:
        article_name = article.find('span').text 
        article_link = f'https://habr.com{article.get("href")}'
        article_dict[article_name] = article_link 

with open(f"articles_{datetime.datetime.now().strftime('%d_%m_%Y')}.json", "w", encoding='utf-8') as f: 
    try:
        json.dump(article_dict, f, indent=4, ensure_ascii=False)
        print('Статьи были успешно получены')

    except:
        print('Статьи не удалось получить')

Надеюсь помог ;)

Comments

[NoAlazar]

Большое спасибо. Как я понял мы заменили lxml на html.parser и указали класс вот здесь: class_='tm-title__link'?