Как будто координаты заданы какие-то запредельные. Более того, если задаю смещение -100, то ffmpeg вообще вылетает с кодом ошибки -1073741819. Ничего не могу понять, и гугление не внесло никакой ясности
А кто вам сказал, что можно использовать отрицательные значения? Обрежьте ваш overlay, можно - тоже автоматически, каким-нибудь imagemagick, и накладывайте.
Moskus, вообще-то, об это говорит официальная документация ffmpeg, где приводится такой пример:
overlay=x='if(gte(t,2), -w+(t-2)*20, NAN)':y=0
Как можно увидеть, начальное значение х тут будет отрицательным. И с отрицательным x у меня тоже все работает, но с отрицательным y возникают проблемы. И это похоже на баг самого ffmpeg