Для старта: формат изображений
QOI. Там же и спецификация формата.
Или же BMP.
Хочу написать код для работы с изображениями под свои задачи
Весьма расплывчатая хотелка.
научиться делать скрины экрана
Захват экрана делается системными вызовами. В разных ОС по-разному. Надо читать их SDK. В дистрибутивах Линукса есть различные менеджеры окон и у них разные SDK.
Захватив изображение и получив матрицу пикселей, возможно, необходимо проделать какие-то операции над изображением и сохранить в некотором формате изображения (BMP, QOI, PNG).
может быть обрабатывать видео
видео - это последовательность фреймов изображений определённым кодеком. Сжатие данных само по себе - обширная тема и нужно читать отдельно. Например, в
compression.ru . Пока не поймёшь что можно делать с изображениями, к работе с видео лучше не переходить.