Albola viene citata per la prima volta in documenti risalenti all’XI secolo. Infatti in un documento datato 1010 l’Arcivescovo di Milano Arnolfo II concesse a un tale Gerardo l’affitto per la coltivazione di dieci mansi di proprietà della chiesa milanese. 
Altri documenti che parlano del castello risalgono al XII secolo e furono redatti nella Badia a Coltibuono e nel monastero camaldolese di San Quirico a Foiano della Chiana. Il castello sorge nei pressi delle sorgenti del fiume Pesa, sui fianchi del monte Querciabella a 603 mslm, ed è un esempio tipico di insediamento fortificato d’altura risalente al XIII° secolo. Faceva parte di un sistema di fortificazioni, in un territorio di confine con il senese, a guardia della strada, molto frequentata ,che dal Valdarno si portava in Chianti. Nei secoli XII e XIII il castello, come il territorio circostante, era di proprietà della famiglia dei Signori di Monterinaldi. Nel 1376 si trova citato un “comunello di Albola” nell’elenco delle terre ribelli all’Imperatore Carlo IV° stilato al momento dell’elezione di suo figlio Venceslao e in quest’epoca doveva già essere fortificato.
Per la sua posizione divenne uno dei capisaldi della Lega del Chianti. Nel 1478 venne assediato dalle truppe aragonesi durante la seconda invasione del Chianti. Anche Albola perse la sua importanza militare quando Firenze sconfisse Siena nel 1555. Piano piano alcuni edifici e le mura furono smantellati. Si conserva in ottimo stato il torrione principale, il cassero, dove è posta un’apertura originale ad una certa altezza da terra. A fianco della torre sorge una costruzione recante sulla parete una porta ed un perimetro murario simile, probabilmente si tratta di una costruzione di origine medievale. Si conserva inoltre parte della prima cerchia muraria di forma ellittica. La chiesetta castellana è dedicata a San Salvatore ed era suffraganea della Pieve di Santa Maria Novella, diocesi di Fiesole. Negli anni 1990 è stato interamente restaurato da Ruedigher von Pachelbel, un aristocratico tedesco che vi risiedeva. 
