De la forteresse primitive achevée en 1202, il reste la base du donjon qui servit de prison durant 13 années au comte de Flandres.