L’ensemble de l’actuel bâtiment communal constituait autrefois l’église d’un important monastère édifié en 1104 par Hugues Bardoul, seigneur de Broyes et l’abbé Robert de Molesme.

A la veille de la révolution, une ferme avait remplacé le couvent. Au 19ème siècle, la nef Sud a été tronquée pour faciliter l’installation d’une école et d’une mairie dans la nef principale.

A l’intérieur de la partie servant aux offices, on trouve une statue intéressante classée : la Vierge donnant le sein à l’Enfant Jésus. L’ancien autel en bois de l’église de Broyes a été retrouvé derrière l’autel actuel de cette église.