Не знаю как сейчас, когда я знакомился с magento внятной документации и книг практически не было. Большая часть информации черпалась из исходников. Можно читать комментарии или использовать сгенерированные по ним доки, типа этого:
doc4dev.net/doc/Magento/1/class-Mage_Payment_Model...
В книгах, которые я читал, максимум были описаны зависимости и работа основных методов.
Проблема Magento в том, что совсем не много разработчиков, включая разработчиков Magento, которые владеют полной картиной работы движка и могут рассказать где используется тот или иной метод.