Можно ли использовать Python для измерения объёма страницы?

Question

[Валерий Суворов]

Всем привет!
Можно ли использовать Python для измерения объёма страницы - кол-во слов/символов?
Интересует именно автоматизация.
В исходных данных может быть несколько сотен или даже тыс страниц (URL) для обработки.

Answer 1

[Шамуэй]

Да

Comments

[Валерий Суворов]

Это задача какого уровня сложности?

[Валерий Суворов]

Исходные данные — URL страниц. В итоге нужно получить в Exel напротив каждого URL — кол-во символов.

[sim3x]

Валерий Чкалов, уровня - начинающий

[Шамуэй]

Валерий Чкалов, Эта простая задача.

[Roman K]

Валерий Чкалов, задача уровня 20 строчек кода. Смотри, я уже написал.

import asyncio, aiohttp

# Количество параллельных запросов
sem = asyncio.Semaphore(10)

async def fetch(session, url):
    async with sem:
        async with session.get(url) as response:
            result = len(await response.text())
            print(url, "done")
            return result

async def urls_to_symbols_count(urls):
    async with aiohttp.ClientSession() as session:
        futures = [fetch(session, url) for url in urls]
        return await asyncio.gather(*futures)

if __name__ == "__main__":
    urls = ["https://google.com/", "https://yandex.ru/", "https://toster.ru/"] * 80
    loop = asyncio.get_event_loop()
    lens = loop.run_until_complete(urls_to_symbols_count(urls))
    print(dict(zip(urls, lens)))

[Валерий Суворов]

Roman Kitaev, большое спасибо!
Но с пайтоном никогда не имел дел.
Поэтому не смогу применить ваш код.

[Roman K]

Валерий Чкалов, Ну, мой код для экспорта в эксель придётся совсем немного дополнить штукой, которая будет писать этот эксель. Я пользуюсь openpyxl

[Валерий Суворов]

Roman Kitaev, ясно! Это уже для продвинутых!
Я пользуюсь Notepad++.

[Roman K]

Валерий Чкалов, я имею ввиду библиотеку для генерации таблиц. А с Notepad++ советую скорее переходить куда-нибудь в сторону нормальных IDE. Сейчас самая популярная — VSCode, хотя я не смог на неё перейти, она сильно уступает PyCharm по функционалу (даже с плагинами). Зато VSCode бесплатный.

[Шамуэй]

Roman Kitaev, можно же просто сохранять результат в tsv, excel умеет его читать.

[Roman K]

Хомон, да можно хоть csv. Но если человек указывает Excel, то скорее всего, он имеет ввиду xlsx.

[Roman K]

Хомон, я, кстати, отказался от генерации csv на проектах, где админы–менеджеры. Потому что xlsx открывается у всех одинаково, его можно стилизовать и мержить ячейки. А у csv иногда надо настраивать разделитель, и экселем сохранять его "на месте" не получится, придётся создавать ещё один файл. В общем, мне не намного сложнее, а менеджерам намного проще.

[Валерий Суворов]

Roman Kitaev, та мне без разницы, можно и csv.