Нередки случаи, когда памятники разбирают и перестраивают в новом поселении - например, в часовне Фуэнтидуэнья в монастырях в Нью-Йорке или в египетском храме Дебод. Такая же удача была у Эрмита-де-Сан-Пелайо-и-Сан-Исидоро (Эрмитаж святых Пелагия и Святых Исидора). Но в данном случае многие мадридцы не знают, что в уголке этого парка находится настоящий романский скит, который не всегда был там.
Первоначально построенная за пределами знаменитых стен Авилы, эта церковь сначала была посвящена младенцу-мученику Кордовы Пелагиусу, а затем в 13 веке была посвящена Святому Исидору. В 19 веке церковь принадлежала Товариществу пахарей; должно быть, именно тогда он изменил свое посвящение на посвящение Сан-Исидро (другое имя святого Исидора, покровителя пахарей). В 1854 году здание сильно пострадало, и городской совет приказал его снести. Но эти работы по сносу не проводились еще несколько лет. В конечном итоге государство применило Закон о конфискации церковного имущества (Desamortización de Madoz) и разрушило его в 1877 году, чтобы продать останки частным лицам.
Эмилиано Ротондо Николау, инженер и бизнесмен, интересующийся археологией, купил тесаные камни и архитектурные элементы и смог перепродать руины Королевской исторической академии в 1893 году. Эрмитаж был перестроен в садах Археологический музей как образец романского стиля. В 1896 году премьер-министр Антонио Кановас дель Кастильо передал памятник мэрии Мадрида и приказал перенести его в парк Буэн Ретиро.
Здание снова подверглось забвению и заброшенности, но в начале 21 века городской совет Мадрида приказал очистить это место, восстановив разбросанные окружающей средой камни, капители, валы, карнизы и т. д.
Эрмитаж был построен из прямоугольных плит из известняка. Головка была полукруглой с частичным куполом и бочкообразным сводом, разделенным на две части. В апсиде было три полукруглых окна. По характеру такого типа постройки, которую можно увидеть в Авиле в подобных церквях и по сохранившимся чертежам, храм можно датировать серединой XII века.