scrapy, dryscrape, selenium, phantomjs.
Вы смешали в одну кучу совершенно разные технологии. Из приведенных инструментов только scrapy является непосредственно парсером, остальные же - так называемые headless браузеры, а это совсем другой уровень тяжеловесности.
Каким способом можно обновлять только javascript генерируемые значения не перезагружая весь вебсайт?
Настоящие парсеры (на голом lxml или на мощном комбайне scrapy) никогда не (пере)загружают весь вебсайт, они вообще не работают с целым сайтом, а только с отдельными HTTP-запросами. Чтобы совершить десять или двадцать запросов одновременно, не требуется совершенно ничего перезагружать.
Что касается динамического контента на странице, то скрипты генерируют его не сами, а точно так же запрашивают с сервера. Парсеру ничего не мешает запросить тот же самый контент, ничего не зная ни о каких скриптах.
Как получать данные с сайта(генерируемые javascript) с частотой до 1/10 секунды?
Частота это понятие из физики (радиотехники и акустики). А в компьютерных сетях существует задержка и ширина канала. Задержка между разными полушариями Земли не может быть меньше 1/10 секунды (около того). Но по пропускной способности парсер может обрабатывать десятки (средних) и сотни (мелких) запросов/ответов в секунду.
Для парсера норма - скрапить целевой сайт в несколько десятков потоков (в Python предпочтительнее green threads).
Для эмулятора браузера - каждый запущенный процесс может выжирать десятки (а то и сотни) мегабайт. И его перезапуск - операция очень медленная.
P.S.: И откуда в последнее время пошла эта мода смешивать headless браузеры с парсерами? Во всех документациях к Selenium и др. четко говориться, что это - инструмент для автоматизированного
тестирования, а ни какой не парсер.