M. Boudartchouk pense que la hauteur qui domine Crestes au sud-ouest, au sommet de laquelle se dresse aujourd''hui un calvaire « a pu être un site castral : une défense ovoïde apparaît au sol ; il s''agit d'un endroit stratégique, dominant les confins de l''Auvergne et du Rouergue. Une famille éponyme est attestée au XIVe siècle. » 

    Cependant, bien que le site soit propice à l'établissement d'un édifice castral, le rocher qui affleure aujourd'hui au sommet même de la hauteur, ne parait pas conserver de traces d''un quelconque aménagement. 

    La chapelle de Crestes, dédiée à Saint-Etienne est fondée par Etienne Roquejoffre, chanoine de Conques, au début du XVIIe siècle.

    A l'entrée du village se dresse également un oratoire dédié à Sainte-Anne.