Как спарсить title c сайтов используя python?

Question

[smoboom]

Я новичок в python и ни как не могу понять как реализовать следующую задачу.
Есть txt файл с доменами(около 10 000 доменов), сохранены в верхнем регистре. Нужно:
- адреса доменов перенести в нижний регистр
- добавить вначале домена строку 'http://', чтобы домен потом вставить в requests
- сделать цикл, чтобы парсер собрал title с каждого домена(сайта)
- записать все в файл таблицу с двумя полями | url сайта | title сайта |

Answer 1

[Илья Король]

1) Перевести строку в нижний регистр можно с помощью метода строки str.lower()
2) Добавить в начале строки можно так: link = r"https://" + link
3)

for link in links:
      [some parsing link site]

4) Ну это работа с файлами в Python

Comments

[smoboom]

а как эти операции обернуть в один цикл, допустим 1 и 2 пункты без цикла. А потом, надо в цикле я так понял построчно из файла читать строки(домены) или списком? Не могу понять, уже кучу сайтов перелопатил ))) логику понимаю примерно, алгоритм, а как в коде реализовать не догоняю, опыта мало )))

[Илья Король]

smoboom, можно построчно читать файл
Есть лайфхак:
for line in open('file.txt','r'):
В итоге в переменной line будут присваиваться строки из файла по очереди друг за другом

[smoboom]

Илья Король, Так 1 и 2 пункты сделал ))

with open('domains.txt') as file_:
    for line in file_:
        links = line.lower() #преобразование в нижний регистр
        links = r"http://" + links
        print(links)

а дальше как? ))

[Илья Король]

smoboom, Ну теперь парсить этот сайт через BeautifulSoup

[smoboom]

домены сейчас в links, но теперь их как то надо добавить в requests, а потом через BS4 вынуть title. Вот тут не могу понять, создовать ли новый цикл для requests и BS4 или в этот же вставить.

[Илья Король]

smoboom, домены сейчас не в links. Часть из них вообще удалены

[Илья Король]

smoboom, разберитесь, пожалуйста, в принципах программирования и алгоритмике перед тем как что-то начинать писать

[Сергей Ильин]

Илья Король, может, вам проще за деньги все сделать?

[smoboom]

Илья Король, да конечно разберусь )) только шеф поставил срочную задачу, а я питон от силы неделю знаю. Да конечно разберусь, как и на видео в юутубе прям за 2 дня выучу питон и разберусь, стауну мамкиным хакером.
А если без сарказма, то я же написал что новичок и не так то просто сходу понять то что Вы год учили.