De un MKV, sacar los subtítulos es muy fácil. Ahora mismo no me se el nombre pero un programa los extrae.
De un AVI, casi diría que es imposible que encuentres una aplicación. Tendría que ser un programa de reconocimiento de patrones, es decir, que a partir de una foto saque el texto. No es algo imposible, porque reconocedores de textos hay, y más cuando no son manuscritos, pero tendría que aislar la parte de la imagen donde está el texto, etc. Además que no son fuentes precisamente estándar.