Ну что ж, я попробовал. Двупроходное кодирование работает. https://pastebin.com/PywTeRXZ Единственная проблема - mplayer ругается на двойное B:

[mpeg4 @ 0x7f7569767f60]Video uses a non-standard and wasteful way to store B-frames ('packed B-frames'). Consider using the mpeg4_unpack_bframes bitstream filter without encoding but stream copy to fix it.

При этом всё работает.

Я погуглил - это оказывается следствие недостатка контейнера avi: там нельзя два "B" подряд. Но это очень здорово улучшает качество видео, и особенно на старых компах вот этот "Packed bitstream" ускоряет воспроизведение.

Рутрекер, как я понял, к этому толерантен. Моя 98-я винда тоже. Что ж, пусть тогда будет.

P.S. В команде, которую я привёл выше, надо поправить "-b" на "-b:v". В противном случае, ffmpeg выдаёт предупреждение, но всё равно работает.

P.P.S. Почему у тебя не работает двупроходное кодирование с "-qscale:v"? Об этом написано на страничке H.264 на Wiki-страничке ffmpeg. Там двупроходное кодирование не работает с "-cbr 17" (это, я так понимаю, аналог "qscale" в Xvid). По аналогии с h264, могу предположить, что тут так же.