Inviz Custos

и по идее, это одно из направлений анти реверсинга.

Направление "защиты от реверсинга" достаточно давно ушло в сторону виртуализации кода.
Такие инструменты как Themida, VMProtect, Enigma, etc при минимальных затратах времени и (самое главное) умении пользоваться этими инструментами - позволяют достаточно надежно защитить критические части приложения.
На данный момент лучшими инструментами (сугубо личное мнение, сформированные на основе опыта использования различных протекторов, а также на отзывах самих реверсеров) являются продукты Oreans Technologies (WinLicense, Themida, Code Virtualizer).
Сильные виртуальные машины (которых более десятка) + широкие возможности кастомизации позволяют доставить немало проблем реверсерам.

Как разбирать чужой код?

Документации почти нет

Добро пожаловать в реальный мир ;)
А если серьезно, то не существует какого-то определенного универсального алгоритма, который поможет разобрать код. Все сугубо индивидуально. Вам придется по крупицам восстанавливать ход мыслей того, кто это писал.
Возможно ничего нового я для Вас не открыл, но как есть.

#offtop

как поступать в ситуации когда имея на руках только исходники библиотеки понять как она работает?

Исходники - это еще большая роскошь) Некоторые успешно переписывают приложения имея на руках только скомпилированный бинарник без отладочной информации)