Если говорить про утуб, то:

h264 -- артефакты с мусором на краях и анимациях, глитчи, бандинг, высокий битрейт, у гугла очень хреновый кодер с хреновыми параметрами
vp9 -- мыло мыльное с замыленными краями и деталями, но в целом ок, может быть лёгкий бандинг особенно при недостаточном битрейте исходника, экономия битрейта и выше качество, единственный юзабельный
av1 -- настоящее мыльное мыло, артефакты из ниоткуда которых нет больше нигде, подрисованные куски (вот фон на нём будут тёмные глитчи), и битрейт на ~5% ниже, чем у vp9, или того меньше, если глитчи всё съели, закопать и забыть

А если кодировать софткодером самому, то libx264 может быть относительно норм, но должен быть весьма высокий битрейт. Чтобы не было жёсткого бандинга, надо кодировать в 10 бит. С libvpx всё непросто, он медленнее x265 и качество ощутимо ниже. При этом актуальной версии libaom достаточно эффективный на битрейте и лучше скрывает артефакты по сравнению с libvpx, но совсем медленный. Одна версия может кодировать ок, а следующая уже будет артефачить, много багов.

Кодирование же видеокодеками изображений ВСЕГДА даёт очень плохой результат, емнип лучше всего получалось у bpg с проприетарными алгоритмами из h265 (не с опенсорсными, там 2 варианта).