Orasul insusi este destul de vechi si denumit dupa castelul sau (acum niste ruine). Castelo Branco inseamna literal "castelul alb".
Cel mai important monument din Castelo Branco e Jardim do Paco Episcopal (Gradina Palatului Episcopal). Este una dintre cele mai frumoase gradini baroce din Portugalia si contine statui ale regilor si ale semnelor zodiacale, aranjate printre tarcuri, terase si scari.