Мы создадим обработчик для использования этой библиотеки, можем ли мы взять деньги за такую услугу? И нарушит ли эта библиотека лицензию CMS?
Скорее наоборот вы можете лицензию на эту открытую библиотеку случайно нарушить.
В случае apache - не страшно, она разрешает линковку с проприетарным кодом и не обязывает раскрывать исходники.
В случае GPL - нужно будет покупателю CMS-ки предоставить возможность получить исходники прилинкованной библиотеки (а в некоторых случаях - и самой CMS-ки. Лучше посоветоваться с юристом, тк GPL очень сложная лицензия)
Может ли компания продавать такую cms?
Может. Но CMS же должна будет знать о существовании этой библиотеки? Я бы попробовал тогда добавить систему плагинов для CMS-ки. Тогда в худшем случае придётся только исходники этого плагина опубликовать.
ситуации 1 и 2, только с модификацией библиотеки (наследование классов и их правки)
Всё определяется конкретной лицензией. Повторюсь что gpl, apache, bsd, и mit - это совершенно разные лицензии.