Пишут, что с версии 2.1 ffmpeg аккуратен-до-кадра в поиске.
Тогда можно посчитать время 1 кадра (зависит от частоты кадров видео), и начать после него:
ffmpeg -ss 0.04 -i source.mp4 -c:v copy output.mp4
Тут 0.04 секунды это длительность 1 кадра при 25 fps = 1/25 секунды.
План-Б: вывести кадры как картинки, удалить ненужный, собрать видео.