Раиль Батыршин

Лично для видеоуроки это пустая трата времени.
Прочитать намного бьістрее.

1) Индия - это вторая в мире страна по количеству населения (1,3 млд. человек). Отстает от Китая незначительно (в Китае 1,4 млд. человек). А еще есть Пакистан, где тоже много ИТ-шников. И их часто путают с индийцами. А до 1947 года Пакистан и Индия были частью Британской Империи. Это до некоторой степени искусственное деление. Далее: всего на земле живет 7,6 млд. человек. Следовательно, каждый 5-й человек на этой планете - индиец или пакистанец.

2) В Индии множество языков. В том числе, и крайне непохожих друг на друга. Когда в 1947 году Индия обрела независимость от Британской Империи (кстати, именно тогда Пакистан и был отделен), возникла проблема - на каком языке общаться по государственным проблемам. Было предложено использовать хинди, как самый массовый язык в Индии, но все же хинди не является родным для подавляющего большинства индийцев, - и носители других языков завозмущались. Решили, временно, использовать еще и английский язык. Да так до сих пор и используют. В Индии степень владение английским языком среди более образованных людей - очень высокая. Не сравнить с бывшим СССР. Преподавание в ВУЗах - все чаще на английском. Следовательно, отсутствует языковой барьер при международном общении.

3) В Индии давным-давно сделан акцент на выращивание (обучение, образование) ИТ-шников. Есть целые города, где ИТ-шники являются градообразующими.

Делаем запрос примерно так:

import json
from scrapy.contrib.spiders import CrawlSpider

class my_super_spider(CrawlSpider):
    start_urls = ["http://domain.com"]
    url = "http://domain.com/?postcode=123&sku=blablabla"
    def parse(self, response):
        # Тут можно распарсть response (ответ на запрос из start_urls) или просто нагенерить
        # новых запросов, или и то и другое.
        yield Request(url, callback=self.parse_my_url)
    def parse_my_url(self, response):
        # Если сайт отдает ответ в виде json то так:
        data_from_json = json.loads(response.body)
        # Если сайт отдает html то так:
        # xpath можно узнать в панели отладки хрома (правой кнопкой мышки на элементе), например:
        xpath_name = '//*[@id="global"]/div/table/tbody/tr/td[%(col)s]/table/tbody/tr/td/a/text()'
        hxs = HtmlXPathSelector(response)
        column = 100500
        data_from_html = hxs.select(xpath_name % {'col': column}).extract()
        
        # Далее "собираем" items и сохраняем в БД или ещё куда там у вас..

по комментариям в коде должно стать всё понятно.

P.S. как делать тут хорошо описано: doc.scrapy.org/en/latest/topics/spiders.html

P.P.S. Эмулировать куки, со scrapy не надо, он всё сам делает (конечно, если надо, доступ к ним получить можно).

Могу посоветовать изучение основ промышленного программирования на Python с наставником. Для работы помимо знания самого языка нужно уметь работать в команде, а это - git/mercurial, трекеры задач, проф средства разработки, тестирование кода, ревью, рефактор и деплой. Знание библиотек конечно же важно, но по опыту могу сказать, что общее понимание приходит быстро, а вот тонкости работы - только в процессе разработки и эксплуатации. Тем более что заранее сказать, что придется изучать - невозможно. Джанго - да, но вдруг поставят задачу, к примеру, интегрировать с рекламной сетью фейсбука - и вперед, изучай библы :)
В итоге - я собираюсь вести такие курсы. Цель: базовые навыки для пром.разработки на пайтон. Опыт преподавания у меня по интернету есть + прочитал курс пром.программирования в МШП. Собирём группу из 7 человек и запилим какой-нить проект django/mysql/git/redmine :) Пишите, отвечу.

Расскажу о своем опыте - пришел в программирование 1,5 года назад, до этого вообще никак с этим не был связан. Начал изучать Python, когда надоело решать задачки из учебников - зарегистрировался на Upwork и Freelancer.com. Искал заказы именно по парсингу, т.к. для меня это показалось наиболее простым на тот момент занятием. Т.к. опыта не было и портфолио тоже не было - долго не мог получить первый заказ и за это меня забанили на Upwork, но на freelancer.com потихоньку начал брать заказы. Заказов на парсинг/скрэйпинг много и на разный бюджет - от 20 USD до сотен и тысяч за проект (в таких проектах помимо парсинга еще что-то обычно нужно сделать, как правило что-то связанное с ML и Data Science). С ростом опыта, количества сделанных заказо и количества положительных отзывов я стал и повышать планку свою со стоимостью заказов. На днях подсчитал, что за 2018 год чисто на парсинге / скрэпинге зарабатывал в среднем около 500 USD в месяц (+ - 50). Сейчас изучаю Django, т.к. мне это стало более интересным ))
ПыСы: если скинете скайп или телеграм - могу поскидывать реальные проекты для практики ) а может и договоримся о сотрудничестве..