Vtsk problemas usando saida de Video Out em placa de video

Pessoal, estou com o seguinte problema, possuo um sistema de monitoramento com 8 cameras com o software Vtsk, possuo uma placa de video no pc Tnt2 32mb pci da nvidia com saida tv out RCA, até ai tudo bem e funcionando direito, só que quando mando o sinal para TV por essa saida a resolução baixa para 800 x 600 e não consigo mudar de jeito nenhum para resolução compatível com o software Vtsk que é no minino 1024 x 768, inviabilizando a saida de tv out, alguém já teve e resolveu esse problema???? já olhei em diversos tópicos e nada ...... obrigado a quem poder ajudar.