Posto sulla sommità di una collina che con i suoi 350 m. di altitudine domina da sinistra della Sieve la confluenza con Arno , il castello di Nipozzano è stato uno dei più potenti fortilizi del contado fiorentino, oggi sicuramente quello della zona di Pelago che conserva le maggiori strutture medievali. 
Il nome ha più di una derivazione e etimologicamente si fa derivare da da niozzan, (utilizzare qualcosa, beneficiare, usufruire). Dal termine deriva anche il sostantivo del tedesco moderno Nutzen (vantaggio, vantaggi) ed il corrispondente verbo col significato di utilizzare, giovare. Da notare la classica trasformazione della -zz altotedesca nella -tz del tedesco moderno, che nell’italiano rimane sempre -zz in quanto tutti questi termini sono entrati nella nostra lingua in epoca altomedievale in corrispondenza con il Regno dei Longobardi (568 – 774). Quindi si può supporre che si trattava di un bene dato dal re in godimento a famiglie di guerrieri di stirpe longobarda. Per la tradizione popolare Nipozzano significa invece “senza pozzo”, a testimoniare che la zona era povera d’acqua. 
Un tempo il sito era dominato dalla possente mole quadrilatera del cassero, ricordata fino dal 1371, e circondato da due giri di mura che racchiudevano anche l’abitato. A Nipozzano i Guidi avevano possessi fondiari fin dal 1062, come risulta da un contratto col quale un conte Guido acquistò la ‘quarta parte di due porzioni del Poggio già castello posto a Nipozzano e circondato da fossati‘. Dall’esame di tale documento si può anche supporre che il sito fortificato ebbe origine verso la prima metà del secolo XI, sebbene la struttura originaria fosse stata distrutta e solo in seguito ricostruita. L’antico feudo dei conti Guidi, la cui signoria sopra Nipozzano fu confermata dai diplomi imperiali del 1164, 1191 e 1220, terminò quasi certamente prima del 1225, dal momento che non si ricorda questo castello nell’atto con il quale i cinque figli di Guido Guerra si divisero i beni aviti in questa parte del contado. Lapo da Castiglionchio nei suoi scritti afferma che il castello passò sotto il controllo dei da Quona, famiglia feudataria dei Conti, i quali lo avrebbero poi ceduto insieme al suo distretto all’Abbazia di San Fedele a Strumi (Poppi), non per nulla una delle abbazie comitali Guidinghe. Questa notizia del possesso da parte dei da Quona non trova riscontro nei documenti, ma d’altra parte è certo che nel 1218 l’abate di San Fedele, per pagare un debito contratto con la famiglia Adimari, fu costretto a concedere in affitto per il periodo di cinque anni, tutte le terre, case e vigne che l’abbazia possedeva a Nipozzano (concessione ripetuta anche nel 1275). Nel 1283 i monaci rinunciarono definitivamente al loro patrimonio di Nipozzano cedendolo a Bindo de’ Cerchi in cambio di terre più vicine alla città. Nipozzano fu in mano Fiorentina fin dagli inizi del trecento, sembra che la Repubblica vi tenesse un suo castellano come risulta da atti del 1313 quando ricevette l’incarico di sorvegliare il passaggio dell’esercito di Arrigo VII. Verso la fine del Trecento il castello conobbe il periodo di massimo splendore quando, passato alla famiglia fiorentina degli gli Albizi, fu trasformato in una splendida dimora di campagna, ritrovo di artisti e letterati. Della dimora voluta dagli Albizi rimangono ancora vari elementi architettonici riferibili al Quattrocento. L’insediamento è tipico del periodo medievale: il cassero in posizione dominante rispetto al cortile d’armi e agli altri edifici che si sviluppano lungo la strada di accesso. 
Purtroppo la struttura è stata per gran parte distrutta dalle mine tedesche nel 1944. L’aspetto attuale del complesso, oggi trasformato in villa fattoria, è il risultato di una importante opera di restauro eseguita nel dopoguerra. Il piano terreno è costituito da alcuni locali seminterrati e da un grande cortile circondato da un camminamento ad U e terminante su un lato con una torre vedetta. Abbellito ulteriormente nel corso dei secoli fino all’inizio del Seicento, in tempi recenti è passato ai Frescobaldi (1925). Ricostruita è la chiesa di S. Niccolò, sulla quale crollò il cassero dopo l’esplosione.
