Я выгружаю с помощью selenium в html нужную мне страницу.
Она попадает в папку где лежит проект Scrapy.
Сейчас мне нужно указывать полный путь к файлу для парсинга.
Можно ли настроить scrapy парсить html файлы, лежащие в той же директории?
Примерный код:
import scrapy
from urllib.parse import urljoin
class Htmlparse(scrapy.Spider):
name = "htmlparse"
start_urls = [
'file:///C:/scrapyproject/alpabetsch23-43_28-09-2019.html',
]
def parse(self, response):
for post_link in response.xpath('//td').extract():
url = urljoin(response.url, post_link)
print(url)