Olá amigo.
Verifiquei o manual do equipamento, e verifiquei que ele utiliza o Codec de compressão MPEG4 XVid, porém não apresenta nenhum item que permita a modificação do codec. Não sei se utiliza o codec convencional para windows ou codec proprietário, mas podemos tentar atualizar o codec Xvid padrão e modificar a qualidade.
Dê uma verificada no site:
Free Codecs
Neste site tem um pacote de codecs (All in one) instale e teste novamente.
Outro detalhe que talvez seja interessante é quanto a qualidade de imagem e velocidade na configuração de gravação que devem ser deixadas no máximo para uma melhor qualidade e número de frames gravados.
Qualquer dúvida entre em contato.
Abraço
Marcelo Peres
mpperes@cctvguide.net