Как можно сжать видео без потери качества на сайт,Никак, любая перекодировка (даже в тот же формат с теми же параметрами) будет неизбежно терять качество.
чтобы на нем оставался прозрачный фон?Во первых - какой формат видео с альфа каналом изначально? Во вторых - на разных движках работать будут разные конечные форматы. Если хватит поддержки хрома и движков на его ядре - webm ваш выбор.