Os dois principais motivos desse erro são: incompatibilidade do navegador ou erro no direcionamento da porta de mídia.
Veja nesse link como resolver problema de compatibilidade do Internet Explorer: http://www.interside.org/2015/05/problema-acesso-remoto-dvr-login-failed.html
Esse erro está acontecendo só no acesso pela rede externa, ou na mesma rede do DVR também está acontecendo isso?
Qual é o fabricante e modelo do seu DVR?
Faz um teste das portas do DVR que você abriu; pode usar esse site: http://ping.eu/port-chk/