Парсинг html в python?

Question

[artds]

Парсю html, на странице ищу название и расширение файла

fr = requests('https://www.geooptic.ru/product/lasernyi-skanner-trimble-x7-kit-with-t10x').text
bb_strings = re.findall(r'files:.*.short_params', fr)

на выходе получается

fr = files:[{file_name:"obzor-skanerov-trimble.pdf",name:"Сравнение сканеров TRIMBLE X7, TX6, TX8 и тахеометра SX10 (2019 год)",type_id:eW},{file_name:"Trimble T10x tablet_Datasheet.pdf",name:"Trimble T10x tablet_Datasheet",type_id:4},{file_name:"Сравнение приборов Trimble 2022 X7 X12 SX12.pdf",name:"Сравнение приборов Trimble 2022 X7 X12 SX12",type_id:eW}]

как сделать что бы было?

Сравнение сканеров TRIMBLE X7, TX6, TX8 и тахеометра SX10 (2019 год) : obzor-skanerov-trimble.pdf

Answer 1

[igor6130]

Есть предложение просто поставить BeautifulSoup и не мучить себя регулярными выражениями.

Comments

[artds]

пробовал не ищет csselect или xpath, в html коде он в jsscript

[Александр]

artds,

import requests
from bs4 import BeautifulSoup
import re

# Получаем HTML-код страницы
url = 'https://www.geooptic.ru/product/lasernyi-skanner-trimble-x7-kit-with-t10x'
response = requests.get(url)
html = response.content

# Ищем строку с информацией о файлах
pattern = re.compile(r'files:\[(.*)\]')
match = pattern.search(str(html))

if match:
    # Извлекаем информацию о файлах
    files_info = match.group(1)

    # Создаем объект BeautifulSoup
    soup = BeautifulSoup(files_info, 'html.parser')

    # Находим все элементы 'file_name' и 'name'
    file_names = soup.find_all('file_name')
    names = soup.find_all('name')

    # Выводим результат
    for file_name, name in zip(file_names, names):
        print(f"{name.text.strip()} : {file_name.text.strip()}")

[artds]

Александр, не находит все элементы file_names = soup.find_all('file_name') и names = soup.find_all('name') (

[Александр]

artds,
Возможно проблема заключается в использовании другого имени тега 'file_name' и 'name' как вариант.

Если информация о файлах находится в JavaScript-коде, то можно попробовать библиотеку json для извлечения информации.

import requests
import json

# Получаем HTML-код страницы
url = 'https://www.geooptic.ru/product/lasernyi-skanner-trimble-x7-kit-with-t10x'
response = requests.get(url)
html = response.content

# Ищем строку с информацией о файлах
start = 'files:['
end = '],'
start_index = html.index(start) + len(start)
end_index = html.index(end, start_index)
files_str = html[start_index:end_index]

# Извлекаем информацию о файлах
files_info = json.loads('[' + files_str + ']')

# Выводим результат
for file_info in files_info:
    print(f"{file_info['name']} : {file_info['file_name']}")

[artds]

Александр,
ошибка на строку
start_index = html.index(start) + len(start)

Возникло исключение: TypeError
argument should be integer or bytes-like object, not 'str'
File "/home/artddss/python/em/de.py", line 12, in
start_index = html.index(start) + len(start)
TypeError: argument should be integer or bytes-like object, not 'str'

что не так делаю?

[Александр]

artds,
Да, это из-за того, что метод index может быть вызван только на объекте типа bytes, а не на строке.
Нужно преобразовать строку html в объект типа bytes.
Сложно писать код без проверки, сейчас напишу исправление, если не поможет, то уже завтра гляну.

[artds]

import requests
import json

# Получаем HTML-код страницы
url = 'https://www.geooptic.ru/product/lasernyi-skanner-trimble-x7-kit-with-t10x'
response = requests.get(url).text
#html = response.content

# Ищем строку с информацией о файлах
start = 'files:['
end = '],'
start_index = response.index(start) + len(start)
end_index = response.index(end, start_index)
files_str = response[start_index:end_index]
print(files_str)

# Извлекаем информацию о файлах
files_info = json.loads('[' + files_str + ']')

# Выводим результат
for file_info in files_info:
    print(f"{file_info['name']} : {file_info['file_name']}")

теперь ошибка:

Возникло исключение: JSONDecodeError
Expecting property name enclosed in double quotes: line 1 column 3 (char 2)
File "/home/artddss/python/em/de.py", line 18, in
files_info = json.loads('[' + files_str + ']')
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 3 (char 2)