un1t

Была похожая проблема. Решил покупкой внешнего wifi адаптера usb.

Лучше заниматся тем что нравится, я так понимаю для тебя это программирование.
Но раз ты не межешь найти работу, то можно попробовать такой ваиант. Идешь там этим маркетойдом, находишь задачи для автоматизации и пишешь какие-то штуки. Будет портфолио и без проблем найдешь работу программистом.

Ну вы нашли где спросить. Тут все за зарплату работают. Главное - это опыт, советы вам ничем не помгут. При этом постарайтесь не забраться в долги и не потерять здоровье от переработок и нервов.

Django + Django REST framework

Ну 20 секунд это многова-то, не ясно почему так. 300-400 вполне нормально, учитывая, что сайты могут примерно столько страницу и отдавать. Чтобы ускорить два варианта либо делать больше воркеров, либо писать асинхронно.

squid, tinyproxy. Второй проще в настройке, но достаточно медленный.

ElementTree умеет xpath это очень удобно, обычно использую lxml

На Питоне есть очень удобные билиотеки для патчинга функций и атрибутов на лету для тестов. Мы используем flexmock. С ее помощью например можно подменять функции библиотеки urllib (или любой другой), тогда ваша функция не будет делать реальных запросов в сеть, а будет возвращять, то что вам нужно.
Вот тут есть презентация, смотрите с 47го слайда pycon.ru/program/content/test-driven-development/

Если люди не умеют верстаить и программировать, то непонятно за что они берут деньги. Сотрудничать с такими разрабами не следует.