Mechanize и правда иногда работает с AJAX, но чаще тупит. Не так давно пришлось при авторизации в VK заменить параметр display с page на mobile, иначе выдавал ошибку, как раз из-за скриптов на странице.
Еще натыкался на watir, но не использовал.
Но, мне кажется, как ни старайся, робот-скрипт не сможет полностью имитировать работу браузера.