Прямым перебором не вариант? Сделать массив отдельный, в котором будет храниться информация о встречании каждого числа (b[1] - сколько раз единица встречается).
взяли цикл на количество массивов, вложили туда цикл от 0 до 40, дальше в каждом массиве проверяется вхождение. Если есть вхождение, счетчик увеличивается (b[1]++).
P.S. Скрипт может вылетать, если будет совсем много массивов (вообще вряд ли конечно), увеличьте время таймаута в php.ini