Там большая проблема в интерфейсах Xvid и DivX. Хочешь как тогда - страдай с оригинальным гуём и VfW-кодеком. Тык-тык-тык, клац-клац-клац, зырк-зырк-зырк вместо автоматизации и чёткого списка параметров.

ffmpeg/mencoder как консольный интерфейс к libxvid? А они все опции выставляют? Нет. Где профили(@уровни), где ограничения на VBV-буфер? Без этих ограничений можно случайно вылезти за возможности аппаратного декодера. К тому же рядом на протухшую документацию указали (-flags gmc).

Консольный интерфейс xvid_encraw - официальный ли он, какой из форков нужен, где последняя версия? Но это должен быть лучший вариант.

Собственный ffmpeg'овый энкодер вместо Xvid? Начни с фразы из документации "libxvid will deliver better quality than mpeg4" и закончи ей.

Как кодировать? Для начала подстроиться под профиль MPEG4 Visual, поддерживаемый тогдашним железом. Он, внезапно, не прописан в стандарте. Это потом можно сказать, что железо декодирует H.264 вплоть до Main Profile. А нужный профиль MPEG4 Visual поверхностно описан... у авторов кодека DivX: профиль "DivX Home Theater"[1]. За него точно не стоит вылезать. Он описывает всё вместе: то, что обычно называют профилем + уровнем + остальное помимо видео*.

Если максимально использовать его профильную сторону, то будет более-менее эффективное кодирование.
Если ещё максимально использовать его уровневную сторону (битрейт, разрешение), то будет и качественная картинка.

А детальное описание профиля где? Подразумевается, что ты купишь себе DivX и не будешь тут это самое. Так что оно разбросано по форумам, как и оптимальные настройки для по-настоящему эффективного кодирования.

Я ограничивался этим:

ffmpeg ... -vf scale=720:-16 -codec:v libxvid -b:v 2000k ...

Битрейт постоянный, потому что с переменным битрейтом ffmpeg нужных гарантий не даёт (аналога -x264-params vbv-bufsize нет) и достаточно большой ради качества. Эффективности нет, это на один раз посмотреть, да и без хотя бы xvid_encraw гнаться за эффективностью всё равно несерьёзно.

* осторожно, 6-канальный звук может не работать

[1] https://www.divx.com/wp-content/uploads/2018/10/DivX-Cert_Pr...