L’eremo è situato a sette chilometri circa da Fabriano.
Fu fondato nel 1231 sui ruderi di un tempio pagano ("fanum", da cui discende il toponimo) da S. Silvestro Guzzolini d’Osimo, che fu l'iniziatore della Congregazione omonima, avente regola benedettina.
Nella chiesetta, di stile settecentesco con decorazioni dei fabrianesi Giovanni Lucci (tele e affreschi della navata e presbiterio) e dei fratelli Micheli (figure della navata e calotta della cupola), di Nicolò Bertucci (tela dell'altare destro) e di Claudio Ridolfi (soprannominato "il Veronese ") cui è attribuita la tela posta sull'altare Maggiore, raffigurante S. Silvestro in atto di essere comunicato dalla Vergine, sono custodite e venerate le spoglie del gran Santo anacoreta.
Cripta di S. Silvestro
Interessanti da visitare, perché testimonianza più antica ed originale dell'insediamento monastico, sono: la Cella di Fonte Vembrici, l'Oratorio di San Benedetto, la Cripta di S. Silvestro.