На чём написать кроссплатформенный crawler?

Спасибо большое! Как оказалось у Selenium есть c# библиотека, которая дружит с юнити.