All’inizio fu un incastellamento a guardia dei terreni alluvionali nella piana di Laterina. In seguito Il castello faceva parte di un sistema di controllo del territorio con i castelli di Rondine, dalla stessa parte dell’Arno, e di Monte sopra Rondine dall’altra parte del fiume. Dopo il passaggio dei Longobardi sulla riva destra dell’Arno divenne proprietà della famiglia comitale degli Ubertini e rimase nella loro potestà fino al XIII° secolo. Il sistema dei castelli al quale abbiamo accennato all’inizio era veramente efficace e consentiva ad Arezzo, fin quando durò la sua indipendenza da Firenze, di avere il massimo controllo delle due strade che, appunto da Arezzo si portavano nel Valdarno e quindi da qui verso Firenze. L’una, la vecchia “Cassia Vetus” passava sulla riva destra del fiume, l’altra la “Cassia Adrianea” sulla sua sinistra. Centrali in questo sistema erano i due ponti: quello di Buriano e quello del Romito. Non meraviglia quindi che Firenze, nel suo espandersi verso Arezzo, abbia più volte investito con i suoi eserciti questi castelli. La Penna era posizionata su di uno sperone roccioso quasi a perpendicolo sul fiume, vicino alla gola dell’Inferno, non molto distante da Laterina e dalla Pieve di San Cassiano. Quando fu definitivamente conquistata, verso il 1385, non si sa per quale ragione, diversamente da Rondine, fu completamente distrutta nei suoi sistemi difensivi. Oggi la sua parte rimanente, pur essendo una poderosa parete sotto la Chiesa, non è visibile data la fitta vegetazione che vi è cresciuta. La forma del castello è invece ancora intuibile nella forma quadrangolare evidente che si può desumere dalla posizione e dalla forma delle case esistenti. Il Castello ed i campi intorno furono assegnati alla famiglia fiorentina dei Peruzzi che ottenne col passare del tempo anche le proprietà vicine di Monsoglio ed altre verso Rondine e, facendo leva su questo latifondo, divenne la famiglia di riferimento in questa parte del Valdarno.
La chiesetta di San Lorenzo che era verosimilmente la cappella del Castello è citata in un documento del 1128 ed è stata durante vari secoli sotto il patronato della famiglia dei Peruzzi e dopo, con il passaggio della tenuta per eredità ai Capponi, di questa ultima famiglia. E’ stata fatta segno recentemente di un riuscito restauro.