A maquina parece boa!!
Qto esta esquentando, nao sei se voce colocou, mais precisa colocar Ventiladores auxiliares no gabinete. Se possivel, coloque um Frontal empurrando o Ar para dentro da CPU, e 2 Traseiros puxando para fora o Ar quente.
Imagens ruins, pode ser varias as causas, desde cabos, alimentação deficiente, conectores com mal contatos.
Especifique que tipo de cabos RG59, RG6….etc, voce esta usando, qual a amperagem das fontes de alimentação, distancia dos cabos
Informe tbm qual sistemana voce esta utilizando, as vezes pode esta tudo certo os componentes acima, mais o windows esta ruins, com virus, mal configurados, drivers errados, e por ai vai.
Adiante mais detalhes da sua instalação, o pessoal com mais experiencia poderá te dar mais dicas.
Abraço