Non si hanno notizie sulla data di fondazione del centro, ma da alcune fonti possiamo ipotizzare che nell’XI secolo, (nel 1021 – … posita in loco Ambra infra plebe Sancti Quirici – dice un documento) ancora non fosse presente un centro fortificato, ma che il luogo denominato Ambra fosse 
collocato nel piviere della Pieve di Capannole, forse nel luogo dove in periodo tardoimperiale era ubicato un luogo abitato, individuato tramite ricerche archeologiche, che hanno evidenziato dei lacerti murari in opus mixtum. In verità si potrebbero ipotizzare anche delle presenze longobarde perché in un documento del 1427 si fa menzione di un “guardingho” che, come sappiamo, era una torre a difesa di un luogo utilizzate da questo popolo e quindi non è difficile ipotizzare che sia stato il primo bastione del futuro castello. In un documento del 1090 la pieve di San Quirico è definita “sita Ambra”. Nel 1132 il castello è citato per la prima volta in un documento in cui i Guidi concedono all’Abate di Agnano il diritto di utilizzare l’acqua del fiume Ambra. L’incastellamento di Ambra comportò, con molta verosimiglianza, nel corso del XII secolo, l’inclusione della popolazione dell’abitato di Santa Maria a Migliari, popolo che si trovava su di un colle a nord-est di Ambra. 
Nel 1270 le mura del castello di Ambra furono completamente distrutte in una delle guerre fra Firenze e le famiglie Ghibelline di Arezzo e la popolazione dispersa nelle campagne circostanti. Questo comportò la volontà del Comune di Arezzo di ripristinare le mura difensive, che furono ricostruite. Notevole era infatti l’interesse del Comune di presidiare questo territorio che vi vedeva agire sia i Conti Guidi, sia la consorteria degli Ubaldini con il Vescovo Guglielmino. Oltre che a ripristinare il castello il Comune elargì larghe esenzioni fiscali nell’intento di ripopolarlo. Molte ancora furono tuttavia le traversie che la popolazione avrebbe dovuto seguire nel corso del XIV° secolo quando si fece aspra la lotta fra Firenze contro Arezzo, i Tarlati e gli Ubertini. Spesso il castello passava da una parte all’altra della barricata. Sappiamo comunque che nei primi decenni del trecento fu sottomesso ai Tarlati che lo avevano inserito nel Viscontato della Valdambra con Civitella, Cennina, S. Leolino e Cacciano che avevano acquistato dai Guidi ma, per tramite della Pace di Sarzana del 1353, ne era ritornata in possesso la Repubblica Fiorentina, che si era vista riconoscere, avendo vinto la guerra, la potestà sui castelli della Valdambra che era stata richiesta dalla popolazione stessa, ormai disperata, nel 1350. Però, ancora nel 1390, il “castrum” di Ambra era ancora considerato come “Ubertinorum”. Solo dopo la definitiva sconfitta di Arezzo con Firenze del 1384 si ebbe un periodo di minor difficoltà che però ripresero con le incursioni senesi, dovute alla guerra fra questa città e Firenze, che si protrasse fino al 1555. 
Da allora si distese sul territorio la “pax fiorentina” ed il castello, come tutti gli altri della Valdambra, perse la sua importanza militare in una terra di confine e da ciò derivò la successiva distruzione dei bastioni. Nel corso dei secoli, ai piedi del nucleo fortificato, si è sviluppato un borgo tutt’ora in espansione. L’antico Castello, dov’è anche la sua chiesa parrocchiale di Santa Maria, è edificato sul poggio a cavallo della strada antica che percorreva la valle e che da Montalto Berardenga scendeva in Valdambra. La sua chiesa, eretta in prioria nel 1737 è suffraganea della pieve di S. Quririco a Capannoli, Nella chiesa parrocchiale è custodita una tela dipinta da Giovanni Mannozzi detto Giovanni da S. Giovanni, appartenuta in origine alla pieve di Galatrona. L’antico nucleo fortificato è ancora in parte leggibile nei vicoli delle case strette le une alle altre. In piazza Filzi ancora è possibile notare una delle antiche porte di accesso al castello attraversata la quale si giunge all’unica torre ancora perfettamente conservata. 
Nel vicolo principale del castello sono visibili tracce di edifici databili tra la fine del XIII secolo e l’inizio del successivo, caratterizzati dalla presenza di pilastri angolari. Queste strutture sono con molte probabilità riconducibili ad una riorganizzazione urbanistica voluta dalla città di Arezzo, come abbiamo detto, alla fine del XIII secolo.
