Как с помощью regex перевести(googletrans) нужную часть строки в Python?

Question

[Weishaupt]

Не получаеться встроить регулярку и перевести заголовки в ответе не затрагивая название проекта

Сама регулярка:
(?<=\w+: ).+(?=)

Сгенерированный код для Python:

import re
pattern = re.compile(ur'(?<=\w+: ).+(?=)')
str = u''
print(pattern.search(str))

Немного о googletrans:
translate(text, dest='ru', src='en')
text - Исходный текст для перевода.
src - Язык исходного текста
dest - Язык для перевода исходного текста.

Исходники:

from bs4 import BeautifulSoup
import requests
from googletrans import Translator
import re

x = 0
while True:
    if x == 0:
        url = "https://news.ycombinator.com/newest"
    else:
        url = "https://news.ycombinator.com/newest" + nexx

    request = requests.get(url)
    soup = BeautifulSoup(request.text, "html.parser")
    teme = soup.find_all("td", class_="title")

    for temes in teme:
        temes = temes.find("a", {'class' : 'titlelink'})
        if temes is not None and 'github.com' in str(temes):
            sublink = temes.get('href')
            print(str(temes.text) + ' ' + str(sublink))
            print('===')

    nex = soup.find(class_ = 'morelink')
    nexlink = nex.get('href')
    nexx = nexlink[6:]
    x += 1

Comments

[Леонид]

несколько раз перечитал... ничего не понял...

[Weishaupt]

Леонид, это парсер сайта Hacker News, парсинг тем с проектами на github, не получается внедрить в код перевод заголовков с исключением имени проекта, например сейчас я получаю ответ в таком формате:
ProjectX: This is my project
Пытаюсь получить ответ:
ProjectX: Это мой проект

[dodo512]

Weishaupt, а если делить строку без регулярок просто split?

print('ProjectX: This is my project'.split(': ', 1));

[Weishaupt]

dodo512, только вот как это в код внедрить что бы работало?) я не понимаю)

[dodo512]

if temes is not None and 'github.com' in str(temes):
    sublink = temes.get('href')
    print(str(temes.text) + ' ' + str(sublink))
    print('===')

Weishaupt, тут нужно заголовок temes.text поделить на две части и вторую часть отправить на перевод. Потом собрать строку из первой части заголовка и перевода второй части.

if temes is not None and 'github.com' in str(temes):
    sublink = temes.get('href')
    m = temes.text.split(': ', 1)
    if len(m) == 2:
        translation = translator.translate(m[1], dest='ru', src='en')
        print(m[0] + ': ' + translation.text + ' ' + sublink)
        print('===')

Или так

if temes is not None and 'github.com' in str(temes):
    sublink = temes.get('href')
    m = re.search('^(.+?: )(.+)', temes.text)
    if m:
        translation = translator.translate(m.group(2), dest='ru', src='en')
        print(m.group(1) + translation.text + ' ' + sublink)
        print('===')

[Weishaupt]

dodo512, Все равно ругается(на оба варианта):

for temes in teme:
        temes = temes.find("a", {'class' : 'titlelink'})
        if temes is not None and 'github.com' in str(temes):
            sublink = temes.get('href')
            m = temes.text.split(': ', 1)
            if len(m) == 2:
                translator = Translator()
                translation = translator.translate(m[1], dest='ru', src='en')
                print(m[0] + ': ' + translation.text + ' ' + sublink)
                print('===')

Возвращает:

Traceback (most recent call last):
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\parsing_HackerNews.py", line 24, in <module>
    translation = translator.translate(m[1], dest='ru', src='en')
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\venv\lib\site-packages\googletrans\client.py", line 182, in translate
    data = self._translate(text, dest, src, kwargs)
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\venv\lib\site-packages\googletrans\client.py", line 78, in _translate
    token = self.token_acquirer.do(text)
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\venv\lib\site-packages\googletrans\gtoken.py", line 194, in do
    self._update()
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\venv\lib\site-packages\googletrans\gtoken.py", line 62, in _update
    code = self.RE_TKK.search(r.text).group(1).replace('var ', '')
AttributeError: 'NoneType' object has no attribute 'group'

[dodo512]

Weishaupt, ну так googletrans установлен не самой последней версии
https://stackoverflow.com/questions/52455774/googl...
pip install googletrans==4.0.0-rc1

[Weishaupt]

dodo512, Теперь все отлично, спасибо, а ты случайно не знаешь как решить

AttributeError: 'NoneType' object has no attribute 'get'

? Я так понимаю причина в том что в определенный момент nex возвращает None у которого нет метода .get , пытался пофиксить с помощью

if nex == 'None':
    continue

Но безуспешно, данная ошибка была еще до того как я с переводом застрял

Show HN: Сервер TCP и HTTP, WebSocket и UDP Echo для всех ваших нужд https://github.com/asad-awadia/echo-server
===
Show HN: MdSilo Desktop, наименьшее хранилище местных знаний на вашем рабочем столе https://github.com/danloh/mdSilo-app/releases
===
Show HN: Создавайте и отправляйте несколько образов Docker из монорепозитория. https://github.com/vitorfhc/bob
===
Show HN: QjsIpc, вызов процедуры JavaScript в dotnet с помощью QuickJS и wasmtime https://github.com/iwate/qjsipc
===
Thefuck: Великолепное приложение, которое исправляет вашу предыдущую консольную команду https://github.com/nvbn/thefuck
===
Show HN: Safe-node — PoC узла с запросами разрешений а-ля Deno https://github.com/stagas/safe-node
===
Show HN: Найдите приложения для Mac, которые можно заменить версией Mac App Store https://github.com/rwv/AppStorify
===
Snappass: Делитесь паролями безопасно https://github.com/pinterest/snappass
===
Traceback (most recent call last):
  File "C:\Users\Rubi\PycharmProjects\parsing_HackerNews\parsing_HackerNews.py", line 32, in <module>
    nexlink = nex.get('href')
AttributeError: 'NoneType' object has no attribute 'get'

Process finished with exit code 1

[dodo512]

nex = soup.find(class_ = 'morelink')
Weishaupt, тут если в html коде страницы soup.find не найдёт нужный элемент, то вернёт None.
В таком случае нужно прервать дальнейшее выполнение цикла.

nex = soup.find(class_ = 'morelink')
if nex is None:
    break