O Museu é constituído por dois edifícios contíguos – o edifício histórico designado por "Solar dos Cavaleiros", um palacete construído no século XVIII e um edifício contemporâneo do século XXI. A sua localização é privilegiada uma vez que se encontra no coração da zona histórica de Castelo Branco, nas imediações da Praça Camões, também designada por "Praça Velha". Através da sua Coleção, de exposições temporárias, programas educativos e da Biblioteca, o Museu promove a fruição e a compreensão da arte e da cultura contemporâneas. A apresentação a públicos diversificados da obra dos mais conceituados artistas dos nossos dias, o reforço dos laços com a comunidade local, são atividades inerentes à missão do Museu.
O Museu Cargaleiro abriu ao público no dia 9 de setembro de 2005 ocupando o edifício histórico "Solar dos Cavaleiros", com a exposição Cargaleiro - 60 anos a celebrar a cor. No dia 10 de junho de 2011, inserido no âmbito das Comemorações do Dia de Portugal, de Camões e das Comunidades Portuguesas, foi inaugurado pelo digníssimo Presidente da República, Professor Aníbal Cavaco Silva, o novo edifício contemporâneo, ampliando o conhecimento do espólio, com a exposição intitulada Manuel Cargaleiro - Vida e Obra, que apresenta diversas temáticas expositivas. Em março de 2017 foi inaugurada a exposição comemorativa do 90.º aniversário de Manuel Cargaleiro - Cargaleiro e Amigos. Em junho de 2021 é inaugurada a exposição Manuel Cargaleiro Uma Vida Desenhada patente no primeiro e segundo piso do Edifício Contemporâneo.
O Museu Cargaleiro tem como missão: estudar, inventariar, conservar, interpretar, expor e divulgar a Coleção da Fundação Manuel Cargaleiro. Este importante acervo museológico possui características únicas que conferem ao museu uma relevante ação de interpretação de diferentes realidades artísticas e históricas através de uma programação que se pretende diversificada através de exposições temporárias e complementada com a oferta dos serviços do Museu, nomeadamente da Biblioteca e do Serviço Educativo.