Как собрать внутренние ссылки со страницы?

Question

[kokojamba]

Сабж.

Бывают разные варианты, но как их все элегантно учесть не понятно.
Приведу возможный список, при условии что парсим с example.com:

• example.com/page.php
  
• //example.com/page2.php
  
• page3.php(без слеша)
  
• /page4.php(без слеша)
  

Может есть уже написанная функция со всеми проверками?

Comments

[kokojamba]

VicTHOR, учесть все варианты что в описании проблемы, но не учитывать внешние ссылки. На выходе массив из внутренних ссылок

[kokojamba]

VicTHOR, на входе 100500 ссылок внешние, внутренние. А надо собрать только внутренние. В примере выше я привел примеры, что внутренние ссылки не всегда имеют netloc, и /, но от этого они не перестают быть внутренними ссылками, которые мне нужно спарсить, исключив внешние ссылки.

Answer 1

[pcdesign]

Этим имхо должны заниматься соответствующие модули, а не регекспы.
Например, так:

from bs4 import BeautifulSoup
import urllib.request
from urllib.parse import urlparse

resp = urllib.request.urlopen("https://toster.ru")
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

for link in soup.find_all('a', href=True):
    href = link['href']
    if not urlparse(href).netloc or 'toster.ru' in href:
        print(href)

Comments

[kokojamba]

и причем тут внутренние ссылки и то что вы дали?
Я же обозначил свою проблему

[pcdesign]

kokojamba, попробуйте, там будут внутренние ссылки

[kokojamba]

pcdesign, я знаю что будут, но это не решает мою проблему. Мне нужны только внутренние ссылки

[pcdesign]

kokojamba, обновил ответ, добавил проверку на абсолютный url

[kokojamba]

pcdesign, я ценю ваш ответ, но я же привел в описании примеры внутренних ссылок, которые ваш пример парсить не будет.

links = [
'http://example.com/page.php',
'//example.com/page2.php',
'page3.php',
'/page4.php',
]

for link in links:
    if not urlparse(link['href']).netloc:
        print(link['href'])

так понятнее? С чего вы взяли, что всегда будет netloc? Почему ссылка внутренняя не может по вашему выглядеть по другому? :)

[pcdesign]

kokojamba, а как должно быть? Что должно быть на выходе?

[kokojamba]

pcdesign, это шутка? внутренние ссылки
/page4.php - это внутренняя ссылка, без слэша page4.php - это тоже внутренняя ссылка. Понимаете? МАССИВ ВНУТРЕННИХ ССЫЛОК и только. Без внешних ссылок на другие сайты. Я уже не знаю как вам объяснить. Я же даже вам примеры привел

[pcdesign]

kokojamba, я обновил свой ответ. Логика такая, надо собрать все ссылки со страницы. И затем отбросить все ссылки, которые ведут на другие сайты.
Верно?

[kokojamba]

pcdesign, я видел ваш пример. netloc не работает, когда на вход вы ему подаете ссылку без домена) сюр какой то

[pcdesign]

kokojamba, я добавил к netloc еще условие

[kokojamba]

pcdesign, так, и как по вашему этот пример будет парсить page.php?)))

[kokojamba]

pcdesign, попробуйте с тем массивом что я скинул.

[pcdesign]

kokojamba, а дальше urljoin, не надо уже тупить.

[kokojamba]

pcdesign,

links = [
'http://example.com/page.php',
'//example.com/page2.php',
'google.com',
'http://amazon.com'
'page3.php',
'/page4.php',
]

for href in links:
    if not urlparse(href).netloc or 'example.com' in href:
        print(href)

# result:
    http://example.com/page.php
    //example.com/page2.php
    google.com
    /page4.php

# а должно быть:
    http://example.com/page.php
    //example.com/page2.php
    page3.php
    /page4.php

я уже не понимаю, стебетесь вы или реально не видите, что ваш пример не работает?

[pcdesign]

from urllib.parse import urlparse, urljoin

links = [
    'http://example.com/page.php',
    '//example.com/page2.php',
    'page3.php',
    '/page4.php',
]

for link in links:
    if not urlparse(link).netloc:
        res = urljoin('http://example.com', link)
        print(res)
    if 'example.com' in link:
        print(link)

[kokojamba]

pcdesign,

http://example.com/page.php
//example.com/page2.php
http://example.com/google.com
http://example.com/page4.php

и куда то делся page3.php)
да и

example.com/google.com

вроде бы изначально не была внутренней ссылкой

[pcdesign]

kokojamba, у меня на месте, вот выдача

http://example.com/page.php
//example.com/page2.php
http://example.com/page3.php
http://example.com/page4.php

[kokojamba]

pcdesign, ну дак вы запустите с этим массивом:

links = [
'http://example.com/page.php',
'//example.com/page2.php',
'google.com',
'http://amazon.com'
'page3.php',
'/page4.php',
]

[pcdesign]

Если на странице написать
<a href='google.com'>dd</aa>
Как думаете куда она будет вести?

[kokojamba]

pcdesign, тот же самый вопрос вам. Как вы думаете, если на странице написать:
<a href='help.php'>help</a>

куда она будет вести?) Вы читали мою тему вообще?))

[pcdesign]

kokojamba, вы забыли запятую, после 'amazon.com'