Как парсить текст с email-protected?

Question

[rodion_ilnitskiy]

Имеется данный код HTML:

<td>
OC[<a href="/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="e9aaa9a1">[email&#160;protected]</a>](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O
</td>

Необходимо пропарсить текст с помощью python scrapy, чтобы итог выглядел как на сайте:
OC[C@H](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O
Однако результат всегда иной:
['OC[', '](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O']
Как решить эту проблему?
Вот код python scrapy:

response.xpath('//td[contains(text(),"Canonical SMILES")]/following::td[1]/text()').extract()

Comments

[Александр Аксентьев]

Внезапно никак не распарсить через парсер потому что это защит от парсинга.

для старых вариантов решение, для актуального надо раскапывать JS который раскодирует это в браузре.
https://github.com/OdinF13/Cloudflare-email-decoder
https://stackoverflow.com/a/49207730/1603055

Answer 1

[Рамис]

Гуглить пробовали?, я попробовал и нашел.

def decode(g):
    r = int(g[:2],16)
    email = ''.join([chr(int(g[i:i+2], 16) ^ r) for i in range(2, len(g), 2)])
    return email

print(decode('e9aaa9a1'))

#C@H

Comments

[rodion_ilnitskiy]

пробовал, ответ выдает такой:

TypeError: int() can't convert non-string with explicit base

[Рамис]

rodion_ilnitskiy, а что вы в функцию передаете?

[rodion_ilnitskiy]

Рамис, переменную x, которая равна

response.xpath('//table[@class="table data grouped"]//td[@class="col stock"][contains(text(),"Please inquiry")]')

[Рамис]

rodion_ilnitskiy, так переменная чему равна, покажите результат

[rodion_ilnitskiy]

Рамис, Я выше писал: ['OC[', '](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O']

[Рамис]

rodion_ilnitskiy,

html = """<td>
OC[<a href="/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="e9aaa9a1">[email&#160;protected]</a>](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O
</td>"""

from cgitb import reset
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')

def decode(g):
    r = int(g[:2],16)
    email = ''.join([chr(int(g[i:i+2], 16) ^ r) for i in range(2, len(g), 2)])
    return email

start = str(soup).find('data-cfemail="')+len('data-cfemail="')
stop = str(soup)[start:].find('"')

x = str(soup)[start:start+stop]
result = str(soup.text).replace('[email\xa0protected]', decode(x))
print(result)

#OC[C@H](OC(CCCCCCCCCCCCC)=O)COC(CCCCCCCCCCCCC)=O