Использую Scrapy shell чтобы проверить правильные ли xpath я указываю для изъятия текста.
Так же пробовал использовать вместе с response.css(). Дело в том, что контент между определенными тегами гораздо интереснее(это очевидно), чем целиком body. Но я не смог понять причину, почему для отдельных тегов и .css() и .xpath() возвращают пустые [] и 0.
Для примера - есть такой <div class="wall_post_text">...</div> с необходимым содержимым. response.css('.wall_post_text')
возвращает []
Мне кажется я что-то делаю не так.
Для своего профиля.
