Construit sur un promontoire surnommé le cap des Tours, il est depuis le XIIIe siècle, le siège du fief des archevêques de Bordeaux, seigneurs de Lormont (au titre de la sauveté de Lormont) jusqu’à la Révolution française. Ce château subit, au cours des siècles, nombre d'épreuves dues aux diverses batailles (guerre de Cent Ans, guerre de Religions, Fronde etc.). À la révolution il est vendu comme bien national. Il est depuis, propriété privée.