A construção do Castelo data do século XIII . Em 1258 D. Afonso III autoriza D. Egas Fafe a construir uma Torre no Castelo de Belmonte, no entanto, no local onde se ergue o Castelo, haveria já um sistema defensivo, posto a descoberto com as escavações arqueológicas realizadas no monumento, cuja construção estaria relacionada com as necessidades de repovoamento e de afirmação do poder real de D. Sancho I na região.
- Afonso V em 1466 doa o Castelo a Fernão Cabral I, tornando-se a residência da família Cabral. As várias transformações efetuadas são ainda visíveis no pano da muralha oeste, com a construção de várias janelas panorâmicas.
Destaca-se uma janela de estilo manuelino, da primeira metade do século XVI, encimada por brasão composto por duas Cabras (Cabrais) e seis ruelas (Castros), simbolizando a união de João Cabral Fernandes com D. Joana Coutinho de Castro.
Atualmente, o edifício tem funções turísticas e culturais, tendo sido construído um anfiteatro ao ar livre e a Torre de Menagem e Sala Oitocentista adaptadas a espaços museológicos dedicados à história do Concelho e do Castelo.