Le prieuré est fondé en 1083 par une communauté de chanoines augustiniens au pied des Albères. Les moines transforment un bâtiment daté de l'époque carolingienne en hospitalier pour les pèlerins de St Jacques de Compostelle et y adjoignent une église et un cloître. Ils ornent l'abside principale de fresques sublimes (11e - 12e) : la vivacité des couleurs, comme les scènes et motifs représentés, sont tout à fait surprenants.
Les chanoines occuperont le prieuré jusqu'au 14e siècle, date à laquelle ils sont sécularisés. En 1802, les bâtiments sont vendus à un cultivateur à usage agricole. L'église devient écurie, la salle hospitalière, porcherie. L'endroit sera laissé à l'abandon en 1942 et se verra très vite enseveli sous une végétation luxuriante.
L'ensemble est acheté en 1993 par Mme Triadou qui avec l'aide d'une centaine de bénévoles entreprend des travaux de restauration. Aujourd'hui, s'y tient tous les ans un festival lyrique : chants profanes et religieux.