Начните с того, чтобы посмотреть media info (например, в VLC) тех файлов, которые производит для вас bandicam. А потом, вместо того, чтобы искать другую программу, настройте тот софт, которым вы пользуетесь на Маке, на такие же настройки. По крайней мере, в Snagit это должно быть возможно.