Une église s'élève à l'emplacement actuel dès la fin de l'Antiquité. L'édifice primitif gallo-romain est reconstruit à l'époque carolingienne selon un plan comportant une abside principale et deux absidioles

La construction de l'église actuelle commence à la fin du 11e siècle avec l'abside romane en hémicycle, qui subsiste toujours. Le clocher et l'absidiole nord sont bâtis vers 1140 environ. Vers 1170, le seigneur local Jean de Beaumont ramène de Terre sainte des reliques des saints Côme et Damien. L'église paroissiale est appelée église Saint-Damien par commodité, mais elle reste pourtant placée sous le double vocable des saints jumeaux. Vers l'an 1300, l'absidiole sud est démolie et remplacée par une chapelle gothique .

Un ambitieux projet de transformation de l'église est lancé en 1537 et confié au maître-maçon Jean Guillot. En 1548, la fabrique passe en tout cas un nouveau marché avec le maître-maçon luzarchois Nicolas de Saint-Michel.