Вопрос старый как мир. Я бы сказал так, без острой необходимости не усложняйте себе работу — пока время дороже, чем расходы приложения. И занимайтесь переносом в бинарные библиотеки лишь тогда, когда твердо будете понимать такую необходимость.
И наоборот, если ищете ответ в Google, значит не осознаете проблемы. Но общего ответа и не найдете, ведь это аналитическая задача для каждого конкретного случая. Тогда как чаще всего просадки в работе алгоритмов решаются оптимизацией. Так, был случай работы с огромными XML документами, сначала мелькнула мысль о переносе на C++ или поиске бинарной-XML библиотеки, однако профайлер показал, что узким местом являются 2 списка, никак не библиотека XML на чистом Python. Списки пришлось разбить, убрать поиск по ним и т.д., и сэкономил 80% времени в работе алгоритма.
