Elvira y Roberto son los amantes cuyas almas vagan errantes por el castillo. Según la leyenda, en el siglo XIII, cuando el señor don Sancho de Ribaura decidió casarse con Elvira, su joven enamorado Roberto, afligido, se internó en un monasterio. Al fallecer el capellán del castillo la suerte hizo que nombraran a Roberto su sucesor y los amantes se reencontraron. A la vuelta de un viaje, el señor del castillo sospechó de la infidelidad de su esposa y mandó colocar al monje una corona de hierros al rojo vivo, lo que le ocasionó la muerte. Elvira, rota de dolor, se clavó una daga en el pecho e incendió el castillo.