Situado no corazón das fragas, nun promontorio sobre o río Eume, este mosteiro foi fundado no S. IX na daquela vila de Calavario, de aí o seu nome.

A súa historia é a das propias fragas: vinculado ás familias de Traba e Andrade, a súa xurisdición amplíase a unha extensa comarca. A crise chega co S. XIX e, con motivo da desamortización, en 1849 sae a poxa. É adquirido por un particular que acomete a súa restauración.

En 1971 é declarado conxunto histórico-artístico e en 1975, monumento de interese provincial. En 1986 apróbase o expediente de expropiación que converte o mosteiro e os seus arredores en propiedade da Deputación da Coruña.