Não se conhece quando se iniciou verdadeiramente a sua construção, embora alguns historiadores admitam que poderá ter tido o seu começo numa fortificação muçulmana.
Entre o século XVI e a segunda metade do século XIX o palácio foi sendo beneficiado e ampliado por vários monarcas que o tomaram como residência, embora outros o tenham completamente esquecido. Após o terramoto de 1755 o Marquês de Pombal mandou restaurá-lo, uma vez que o edifício sofreu graves danos.
Quanto à sua caracterização arquitectónica, a planta é complexa, organizando-se em "V", é constituída sobretudo por paralelepípedos, sendo a cobertura efectuada por múltiplos telhados diferenciados.
Tem exteriormente altas chaminés cónicas, o alçado principal está organizado em três corpos, sendo o central mais elevado. Existe ainda uma arcaria com quatro arcos quebrados, encimada por cinco janelas. As outras frentes do edifício apresentam uma complexa articulação de corpos salientes, destacando o volume cúbico da Sala dos Brasões.