Источник документации – markdown-файлы (лежат на гитхабе). А движок вполне может быть самописным. Он достаточно прост: md-парсер, роутер, и поисковый индекс. Основное меню строится по файлам, оглавление - по заголовкам, плюс немного javascript для поиска и капелька css для красоты.
Аналогов полно, первое что нагуглилось:
https://www.mkdocs.org
Или вот
https://app.gitbook.com/