Il Castello di Celle si trova circa a circa 485 metri sul livello del mare, circa a metà di un crinale che partendo dall’Abbazia di Montescalari arriva a Ponte agli Stolli. 
Queste località sono unite anche da una antica strada, ora in parte selciata e segnalata come sentiero CAI-Firenze n°23. In basso, affiancando il crinale, scorre il torrente Cesto. Siamo nel piviere di Gaville. La prima menzione del Castello si ha in un rogito dell’Abbazia di Montescalari del 1084 ma già nel 1072 si ha notizia documentata di una lite fra gli abitanti di Celle e Montescalari per il possesso di alcune terre poste nelle vicinanze del Castello. Recenti studi hanno evidenziato come “quel popolo di Celle” non fossero altro che la famiglia dominante il castello che può essere indicata nei “Filii Griffi”. Tale famiglia in contrasto con quella molto più importante degli Ubertini, che avevano il controllo del Piviere di Gaville, cercava di imporre la propria supremazia sul castello Molti sono i documenti che citano il castello: alcuni importanti del 1104 rogati nella chiesa di San Miniato, quando i Filii Griffi refutano tutte le loro possessioni in Lucolena e Celle all’Abbazia di Montescalari, facendo intravedere rapporti molto intensi con questa Abbazia;. Un evento importante avviene nel 1175 quando il Vescovo di Fiesole stacca le due chiese di Celle dal piviere di Gaville e le pone in quello della costruenda Pieve di Figline. Sappiamo che dopo pochi anni, nel 1180, queste chiese verranno però reintegrate nel piviere di San Romolo, certamente per intervento degli Ubertini. Altri documenti di compravendita di terreni che citano il castello datano nel 1201 e nel 1244. Molto studiata è la controversia avvenuta quasi un secolo dopo fra la cappella di San Salvatore, che era all’interno del castello, e la chiesa titolare della parrocchia, San Miniato, che era posta ad una certa distanza da quello. Nella controversia del 1296 per la supremazia di una delle due chiese, si raggiunge il punto più alto di rivalità fra le due famiglie. Il castello in quegli anni aveva una popolazione di circa quaranta persone, mentre nelle sue pertinenze la popolazione poteva arrivare a circa 150 unità. Nel XIV secolo comincia lentamente la crisi del castello. L’ultima visita pastorale del Vescovo Federighi di cui abbiamo menzione per la Chiesa di San Miniato è del 1423. 
Il castello è stato semi-abbandonato fin dal primo ottocento. Negli ultimi anni era stato oggetto di un tentativo di recupero da parte di una impresa privata ma i lavori si sono fermati e tutto il complesso è stato messo all’asta. Aste però, almeno fino al 2015, andate deserte. In una nota che crediamo dovuta alla ricognizione prima dell’inizio dell’intervento del restauro, fra l’altro, si legge: “Come nella maggior parte dei castelli toscani e in particolare per Cintoia ed il Castellaccio di Lucolena, il nucleo fortificato di Celle è stato costruito direttamente sulla roccia, che affiora spesso alternata alla muratura in gran parte degli edifici, con una finitura così raffinata da far presupporre la volontà di lasciare a vista anche queste pareti. Quello che resta delle mura del castello da ancora l’idea di come dovesse essere. La torre scapitozzata indica dove si trovasse il mastio e sono ancora visibili buoni tratti delle mura castellane. Come a Cintoia, ci si trova ai piedi del nucleo più fortificato del castello (il cassero), circondato da mura circolari di dimensioni imponenti, al quale si giunge inerpicandosi lungo una spaccatura presente lungo la cinta, ormai in stato di totale abbandono e in precarie condizioni di conservazione. Proprio questa è la parte dell’insediamento che ha conservato i resti di uno splendido paramento murario in pietra calcarea: una struttura medievale che, per dimensioni e consistenza potrebbe essere associata alla residenza dei signori del castello (palatium), intorno alla quale si sono poi addossate strutture più recenti. Un arco a tutto sesto si apre sulla facciata sud-orientale di questo gruppo di edifici ed è circondato da una muratura finemente lavorata, che può datarsi, per tipologia e per caratteristiche architettoniche, tra la fine del XII e la prima metà del XIII secolo. E’ interessante notare come, nel 1336, un documento segnalasse l’esistenza di un borgo (dunque al di fuori della cinta muraria) detto «Burgo de Pagnio» che, evidentemente, non è oggi più identificabile”.
