Средствами composer такого механизма реализовать не удастся, насколько я знаю - он тупо качает исходник указанный в packagist.org . Вариант - иметь форк основного проекта без папки тестов, который и сабмитится в packagist.org.
Либо убрать тесты из master ветки, но хранить их в той, в которой ведется разработка, бранчеваться только от нее, и тесты в мастер не мерджить.