De l’ensemble monastique, il reste aujourd’hui l’aile orientale du prieuré et le transept, l’absidiole nord et la crypte de l’église. La crypte, qui remonte certainement à la fondation de l’église, témoigne remarquablement de l’histoire religieuse de l’île.

L’abbaye de Cluny fonde en 1067 l’église et le prieuré Saint-Martin. Pendant près de trois siècles, la communauté monastique aixoise, tout en rythmant la vie des insulaires, étend son influence spirituelle sur La Rochelle et sa région en administrant notamment un grand nombre de paroisses.

Mais avec l’intensification des conflits entre la France et l’Angleterre, le prieuré, à plusieurs reprises pillé et endommagé, est abandonné en 1343.