L'eremo di S. Maria di Valdisasso (Valle Saxa) è situato a circa dieci chilometri dalla città, in una vallata tra il monte Rogedano e Puro. All'origine era un castello (VII-XI secolo) di proprietà del feudatario Alberto dei Sassi, poi trasformato in monastero dal titolo S. Maria Vallis Saxe e abitato da monache benedettine (IX-X secolo). In seguito per motivi di sicurezza fu abbandonato dalle religiose che si trasferirono presso la porta del Piano.
Vi furono ospiti oltre a S.Francesco, S.Bernardino da Siena nel 1433, S.Giovanni da Capestrano nel 1450, S.Giacomo della Marca nel 1456.
Negli anni passati era ancora visibile nelle stanze (oggi demolite) dove dimorarono S.Bernardino e S.Giacomo le scritte:"Hic Bernardinus,almus stupor Observantiae, habitavit" (Qui Bernardino, fulgida stella dell’Osservanza, abitò) e " Hic, Picenorum gloria, sertum paupertatis,Jacobus habitavit" (Quì,Giacomo, gloria dei Piceni, tesoro di povertà,abitò).
Dopo il soggiorno di S.Francesco e i suoi discepoli fra Egidio, Simone, Masseo e Ruffino, vi abitarono per trenta anni i frati minori locali.Un gruppo di questi si trasferirono a Fabriano e nell’eremo vi rimasero in pochi.
Nel 1406 l'eremo fu acquistato da Chiavello Chiavelli per 172 ducati d’oro e fu concesso l’uso ai Frati Minori che fece ritornare lo stabile ad un grande splendore, realizzando molti lavori d’ampliamento e restauro.
Vi furono ospiti oltre i quattro santi: il Beato Francesco della Libbra, il Beato Marco da Montegallo, il Beato Antonio Puro e il Beato Pietro da Mogliano.
Durante il ripristino dell’eremo Gentile vi dipinse il Polittico della Romita" rappresentante l’incoronazione della Vergine con i santi S. Girolamo, S. Francesco, S. Domenico e S. Maria Maddalena.
Nel 1811 con la soppressione napoleonica l'opera fu trasferita alla Brera di Milano.
I Frati Minori vi ritornarono nel 1816 e il 28 agosto 1865 furono espulsi definitivamente dall'eremo.
L’abitato abbandonato cominciò la sua inevitabile rovina.
Nel 1965 fu ceduto dal demanio ai Religiosi che iniziarono i lavori per salvare le strutture rimaste.
La piccola chiesa dell’eremo è tipica del 1200; ristrutturata completamente nel XV secolo si può ancora ammirare il bellissimo soffitto con le volte a crociera.Sopra l'altare è stata posta una copia del Polittico".
Il resto dello stabile è di linea architettonica del '400, anch'esso restaurato, si amalgama perfettamente con l'ambiente circostante creando un forte clima mistico tipicamente francescano(241).