А ведь двухпроходность с фиксированным квантизатором ничего не делает... потому что квантизатор-то для всех кадров уже зафиксирован.

Выход - задать битрейт вместо квантизатора. Но придётся отказаться от ffmpeg, потому что двухпроходное кодирование с libxvid в нём давным-давно сломано[1][2].

Я что-то засомневался в своих словах про ненадёжность квантизатора без ограничений сверху (ради которых тоже надо отказаться от ffmpeg), но сейчас убедился, что -qscale:v 3 способен превысить максимально допустимый битрейт аж в десятки раз. На цветной шум[3] он выделяет 90Mbps, как если бы это было 8K-видео, а не SD.

[1] https://trac.ffmpeg.org/ticket/6270
[2] https://trac.ffmpeg.org/ticket/6217
[3] Blackness(length=1*60*24, width=720, height=540, pixel_type="YV12").ColorYUV(off_y=(235-16)/2).AddGrainC(var=3000, uvar=5000, seed=0)