Rsa97

Скорее всего, просто опечатка.

Инициализировать (задать некоторое значение) перед первым использованием. Ваш К.О.

"Mama1\r\nmama2\r\nmama3"

Потому что в PNG принят big-endian формат, а x86 использует little-endian.
Можно просто сигнатуру записать задом-наперёд, но будет неудобно сравнивать код со стандартом PNG.

n раз генерируете число с проверкой уникальности и дважды добавляете его в массив, затем генерируете ещё число и добавляете только один раз.

Большинство современных процессоров читают данные из памяти не отдельными байтами, а блоками по 2-4-8 байт. Соответственно, если у вас данные не выравнены в памяти и начало попадает в один блок, а конец в другой, то для чтения надо будет получить два таких блока.

Если полином степени m возвести в степень n, то результирующий полином будет иметь степень m*n.

Это просто один из методов выделения памяти.
Если мало n байт, выделим 2n. Если и этого мало, то 4n, 8n, ... 2^kn.
А 4 - это стартовое значение, оно используется если p->alloc ещё нулевое.

С точки зрения программы, все переменные находятся в оперативной памяти. Выгрузкой в файл подкачки занимается операционная система прозрачно для прикладных приложений.

Передача параметров по ссылке

И правильно делает, что вылетает. Память под копию строки не выделена, переменная pstr2 не инициализирована.

Потому что постинкремент ++ относится только к a.