Les libertés communales ont été acquises par les bourgeois de Boulogne en 1203. Délaissé au profit d'un nouveau château, l'ancien donjon des comtes de Boulogne est vendu à la commune qui en fait un beffroi. Celui-ci remplit alors toutes les fonctions de ce type d'édifice : tour de guet, lieu des réunions échevinales, prisons, conservation des trésors...En 1734, le dernier niveau est alors élevé afin de remplacer la flèche originelle en ardoises.

Les révolutionnaires voulaient le démolir au nom de l'égalité et de la lutte contre la féodalité, il sera épargné car constituant le seul point d'où l'on pouvait observer les mouvements des navires ennemis. Cette utilisation du beffroi comme tour de guet perdurera jusqu'en 1931, date de décès du dernier guetteur.

La base du bâtiment, jusqu'alors enveloppée de maisons particulières, fut également dégagée cette même année.