Как распарсить несколько url из файла в формате «excel»?

Question

[Fokinura_3000]

Есть экселевский файл, который содержит ссылки в одном столбике.
Как правильно вытащить название приложений, которые он выдает по ссылкам?

Пример файла на картинке:

Продублирую сюда часть ссылок из списка:

https://play.google.com/store/apps/details?id=com.vkontakte.android
https://play.google.com/store/apps/details?id=ru.ok.android
https://play.google.com/store/apps/details?id=com.outfit7.talkingtomgoldrun
https://play.google.com/store/apps/details?id=com.tapclap.piratetreasures2
https://play.google.com/store/apps/details?id=com.openmygame.games.android.wordpizza
https://play.google.com/store/apps/details?id=com.outfit7.mytalkingtomfriends
https://play.google.com/store/apps/details?id=com.hornet.android

Образец моего кода:

import requests
from bs4 import BeautifulSoup
import pandas as pd

df = pd.read_excel('ids.xlsx')
url = df

for urlibs in url:
    response = requests.get(urlibs)
    soup = BeautifulSoup(response.text, 'lxml')
    quotes = soup.find_all('h1', class_='AHFaub')
for quote in quotes:
    print(quote.text)

При моём коде выдаёт только первую строчку, а как можно получит все строчки?

Comments

[сергей кузьмин]

какая ошибка возникает со вторым и далее url ?

[kapp1]

Ты открываешь excel как давай фрейм и тут же пытаешься по нему итерироваться циклом. Так ничего не получится. Попробуй итерироваться по значению, примерно так
df = pd.read_excel('ids.xlsx')

for index, value in df.items():
print(f"Index : {index}, Value : {value}")

[Fokinura_3000]

сергей кузьмин, Ошибок нет, 1 url возвращает весь список, а второй именно (urlibs) возвращает только 1-ую строчку

[Fokinura_3000]

kapp1,
А чем данный способ отличается от моего?))
Я просто логику дальнейших действий не улавливаю
Может мне как-то просто в текстовый файл перегнать эксель или в json?

[kapp1]

Fokinura_3000, так ты попробуй в своём способе вызвать
for urlibs in url:
print(urlibs)

и посмотри, что ты получаешь.

[Fokinura_3000]

kapp1,
Ничего не меняется, как бы я не крутил, выдаёт один нейминг только
Может, я что-то не так написал, если будет возможность, подскажите, пожалуйста, что и куда вставить

[kapp1]

Fokinura_3000, окай, выполни вот такой код

import requests
from bs4 import BeautifulSoup
import pandas as pd

df = pd.read_excel('ids.xlsx')
url = df

for urlibs in url:
print(urlibs)

вот только то что я написал

покажи что получилось

[Fokinura_3000]

kapp1,
Только 1 ссылка вылезла

[kapp1]

Fokinura_3000, всё верно, как я и писал) потому то нельзя просто так циклом пробежаться по df, я описал как надо по нему проходить
for index, value in df.items():

и вот value (а это и будет строка ссылки надо подавать на вход в

response = requests.get(value)
soup = BeautifulSoup(response.text, 'lxml')
quotes = soup.find_all('h1', class_='AHFaub')
for quote in quotes:
print(quote.text)

[kapp1]

А вообще если тяжело разобраться в пандас, лучше сохраняй в txt и читай построчно циклом.

[Fokinura_3000]

kapp1, Я value так же подставлял вместо index'a
Выдаёт такую вот ошибку
Код:

[kapp1]

Лол ты наверно издеваешься)

Перепиши код нормально

Цикл индес, велью по юрл:
    внутри цикла реквест от value
    соуп = бла бла бла
    квотес = бла бла бла
    цикл по квоте
         принт квоты

[Fokinura_3000]

kapp1,
Ошибка такая же, как и в предыдущем комменте

[сергей кузьмин]

Fokinura_3000, вы бе напечатали *отладочную информацию перед тем как читать страницу супом - какой урл какой тескт страницы

и если можно не надо скриншотов публикуйте текст

[Fokinura_3000]

сергей кузьмин, Хорошо, прошу прощения, буду текстом писать))
А что вы имеете ввиду под отладочной информацией?))
Урл должен браться из таблицы, эксель/csv - откуда именно, значение не имеет
Текст страницы - только название приложения

[сергей кузьмин]

надо это все на консоль напечатаь прежде чем суп звать
мое подрзрение так как урлы все разные xpath годный для одного может не работать в других но отладка покажет это и другое

Answer 1

[xotkot]

сохраняйте документ в csv, а его уже любым удобным инструментом обрабатывайте

Comments

[Fokinura_3000]

Пробовал, я в первую очередь всё сохранял в csv, только итог такой же, как с экселем

[xotkot]

Fokinura_3000, какой именно итог ?

Есть экселевский файл, который содержит ссылки в одном столбике

после сохранения/конвертации в csv у вас по итогу будет простой текстовый файл в каждой строке которого будет одна ссылка, а с таким работать уже проще некуда

[Fokinura_3000]

xotkot, Черт, заработало!)))
Действительно, спасибо большое!))
Долго грузит, но работает!))
Обнимаю и жму руку!))
От души!))
Только, если сохранять csv через гугл диск - тогда работает))

[xotkot]

Fokinura_3000,
не знаю что у вас там так долго грузит, всё это довольно просто делается через консольные утилиты
unoconv или libreoffice для преобразования в csv, а там уже через awk достать нужное:

$ libreoffice --headless --convert-to csv in.xlsx --outdir conv/
$ cat conv/in.csv
https://play.google.com/store/apps/details?id=com.vkontakte.android
https://play.google.com/store/apps/details?id=ru.ok.android
https://play.google.com/store/apps/details?id=com.outfit7.talkingtomgoldrun
https://play.google.com/store/apps/details?id=com.tapclap.piratetreasures2
https://play.google.com/store/apps/details?id=com.openmygame.games.android.wordpizza
https://play.google.com/store/apps/details?id=com.outfit7.mytalkingtomfriends
https://play.google.com/store/apps/details?id=com.hornet.android
$ awk -F'[.=]' '{print $5}' conv/in.csv > conv/out.txt
$ cat conv/out.txt
vkontakte
ok
outfit7
tapclap
openmygame
outfit7
hornet

[Fokinura_3000]

xotkot, Нет, в csv быстро преобразовывается, а вот парсит каждую ссылку долго((
У меня их там штук под 3к+

[сергей кузьмин]

Fokinura_3000, осталось оптимизировать

Answer 2

[webster_r]

# -*- coding: utf-8 -*-
import pandas as pd
import requests
from bs4 import BeautifulSoup

filename = 'ids.xlsx'
df = pd.read_excel(filename)
url = df.iloc[:, 0].tolist() # Преобразую нулевую колонку к списку

for urlibs in url:
    response = requests.get(urlibs)
    soup = BeautifulSoup(response.text, 'lxml')
    appname = soup.find('h1', class_='AHFaub').text
    print(appname)

Вариант быстрого парсинга (многопоточность)

# -*- coding: utf-8 -*-
import pandas as pd
import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor

filename = 'ids.xlsx'
df = pd.read_excel(filename)
urls = df.iloc[:, 0].tolist()


def get_app_name(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')
    appname = soup.find('h1', class_='AHFaub').text
    print(appname)

# Число воркеров можно изменить на свое усмотрение
with ThreadPoolExecutor(max_workers=16) as executor: 
    executor.map(get_app_name, urls)

Answer 3

[kapp1]

Нельзя просто так по датафрейму пробежать циклом, надо достать значение и подавать их на вход в реквест.

Comments

[Fokinura_3000]

В том-то и дело, что и методом, который вы описали ранее, тоже не получается
Но я не исключаю, что я что-то не правильно пишу((