Si comprimes algo que ya esta comprimido, la perdida de calidad es inevitable. Puedes mitigar la perdida de calidad jugando con los parametros del x264 y poniendo filtros pero eso no evita que pueda a llegar a pasar de HD a SD (según nuestros estandares), y la cantidad de tiempo que lleva.
Un episodio normal de OP, segun tu PC, en comprimir copn x264 en modo CLI puede demorar de 1 a 5 horas por capitulo.
Ya si quieres puedes recurrir al Handbrake y pasarlos a mp4 y jugar con los parametros.