На странице кодера есть описание, как это сделать пошагово. Всего-то надо выполнить git clone и make install-release 2 раза для кодера с декодером, потом git clone/git checkout/wget с git apply для ffmpeg и добавить ему 2 ключа в конфигурацию.

Выжимать лучшее не надо, банально переключение пресета и все дефолты вполне ок (пока использовал только medium и fast). Надо только добавить конвертацию 8 битного источника в 10 бит с -pix_fmt yuv420p10le и ключевые кадры раз в 10 секунд (дефолт 1) вместо ключа -g можно указать -period в секундах. Всё есть в примерах использования и справка максимально понятная.

Например, я кодирую 1080p60 2 прохода (довольно быстрый 1 проход хочется особенно отметить) в целевой битрейт 750kbps с maxrate в 2 раза выше и не буду жаловаться, когда кодек удаляет исходные артефакты некачественного несколько раз кодированного avc потока или не выделяет достаточно на уже изначально зашакаленные элементы. Получается вполне прекрасно, картинка совершенно идеальная. И это не жуткое мыло а ля vp9/av1 и улетающий в небеса битрейт. А там вон кривой-косой 480p24 550kbps на наилучшем и дорожайшем пресете, хех. Я 720p60 в 500 жму идеально этим кодеком на быстром пресете.

Кстати, 1080p60 приличного качества в районе 1100kbps получался у x265, я уверен, можно меньше, это был однопроходный crf. А у этого кодера около 700kbps выходит, да. В то же время, libaom предлагает мне битрейт порядка 3000kbps и svt-av1 в районе 5000kbps и если понижать засыпает весь экран глитчами. Ну такое.