Как получить все ссылки на странице сайта?

Question

[David It]

Как получить все ссылки на странице сайта с помощь командной строки? Или это нужно делать все на питоне? других вариантов нет? Если нет, что не желательно, то каким образом это можно организовать на питоне?

Answer 1

[Владимир Куц]

Из командной строки:

curl https://yandex.ru | grep -o -E 'href=\".*?\"' | sed 's/href=\"//' | sed 's/\"//' | sort | uniq


# //yandex.ru/opensearch.xml
# //yastatic.net/jquery/2.1.4/jquery.min.js
# https://afisha.yandex.ru/rostov-na-donu/cinema/cyrano-2022? utm_source=yamain&utm_medium=yamain_afisha_kp
# https://afisha.yandex.ru/rostov-na-donu/cinema/dog-2021?utm_source=yamain&utm_medium=yamain_afisha_kp
# https://afisha.yandex.ru/rostov-na-donu/cinema/kroletsyp-i-khomiak-tmy?utm_source=yamain&utm_medium=yamain_afisha_kp
...

На Python

import io
import requests
from lxml import etree

data = requests.get('https://yandex.ru').text

parser = etree.HTMLParser()
tree   = etree.parse(io.StringIO(data), parser)
for im in tree.xpath('//a'):
    print(im.get('href'))

Comments

[David It]

А если допустим страница - медиафал вордперсса, как в ней получить ссылки на загруженные файлы с командной строки?

Answer 2

[vreitech]

Например так:

curl -s https://qna.habr.com/ | grep -oP '(?<=a href=")\S+(?=")'

Comments

[David It]

А если допустим страница - медиафал вордперсса, как в ней получить ссылки на загруженные файлы с командной строки?

Answer 3

[Евгений]

Powershell в винде считается командной строкой? :)

Invoke-WebRequest https://yandex.ru | select $_.Links.href

возможно понадобится добавить ключ -usebasicparsing в зависимости от версии powershell

Comments

[David It]

Это я так понимаю на Винде. Есть впринципе винда на другой машине. Попробую

[Евгений]

ну я не увидел требований что это на линуксе.
curl вполне справляется, с вытаскиванием ссылок - можно взять примеры у двух других отвечающих

[David It]

Евгений, у повершела на букву I неадекватная реакция я смотрю?? не могу команду прописать - Invoke

Answer 4

[Электо Хаус]

Если нужно собрать именно линки посмотри в сторону requests-html сделан на базе requests. Фишка в том что может собрать все урлы со страницы и ещё много разных плюшек для ленивых)

Comments

[David It]

Вопрос ещё в том, а если в админке КМС рассмотреть случай. Например аналог Ворд пресса, без вмешательства админки в кмс, можно вывести ссылки файлов например в разделе медиа через командную строку или через питон?

[Электо Хаус]

David It, я не понял твой вопрос. КМС это что? CMS? Раздел медиа это что? Вывести можно все в командной строке или воспользоваться питоном для вывода в терминал.

[David It]

Электо Хаус, да в cms есть раздел медиа, и там например папка и в ней файлы. Как мне вывести ссылки на эти файлы в папке с командной строки или питона?

[Электо Хаус]

David It, вариантов масса. Самый простой это зайти на сервак по ssh и сделать что типа ls -a1 /var/www/sitenime/img/foldername/

Тебе выведет список всех файлов по указанному пути. Скопируй и чуть поправь в любом редакторе.

Ещё можно написать скрипт на питоне который выведет тебе данные.

Можно написать более сложный скрипт на сокетах который соединятся и выведет данные.

Если данные доступны из вне на сайте. То можно спарсить их.

Если на сайте есть карта сайта xml можно ее распарсить и забрать нужные линки.

Если данные есть в дб можно запросить их там. Для этого есть тулза у питона. Или воспользоваться средствами ORM

Можно написать скрипт на баш

Можно написать на ps если под виндовс работаешь.

Как ты видишь вариантов масса!
Выбирай подходящий и юзай. Предполагаю ты знаешь питон, для парсинга нужен requests и bs4
Для написания скрипта хватит стандартных модулей питона.

Или ты хочешь получить готовый скрипт?

PS
Скрипт на питоне
https://www.delftstack.com/ru/howto/python/python-...

Парсинг
https://pythonru.com/biblioteki/parsing-na-python-...

BASH
https://habr.com/ru/company/ruvds/blog/325522/

Это если хочешь заморочиться и написать что дельное
masters.donntu.org/2012/fknt/vlasenko/library/para...

[David It]

Электо Хаус, я как простой техник в программировании не разбираюсь. Но попробую из вашего списка сделать. Спасибо

[Электо Хаус]

David It, это похвальное рвение. Задавай вопросы и мы направим тебя. Может понравится)
И помни чем подробней вопрос тем развернутый ответ.