Это может происходить из-за того. что MPI не определяет работу процессов с потоками ввода-вывода. То есть последовательный вывод из разных процессов не гарантируется. И сброс буфера здесь fflush() здесь не поможет. Если важен именно детерминированный вывод, можно использовать MPI I/O, но это стандарт MPI-2, а его поддержка отсутствует во многих реализациях MPI.