L’area in cui era presente il castello di Albiano si può individuare oggi con quella occupata dalla frazione di Santa Maria Albiano. L’origine del nome deriva dal toponimo latino Albianus, letteralmente di Albius. Di questo castello si ha notizia nelle cronache per il giuramento fatto nel 1183 dagli uomini dei castelli di Albiano, Orbicciano al comune di Lucca. Nonostante la struttura del castello sia da definirsi con l’attuale borgo abitato, non si può però definire perfettamente gli esatti limiti del castello, a causa della completa distruzione delle strutture fortificate. L’unica struttura conservata del castello consiste in un paramento murario, della lunghezza di cinque metri, e dall’altezza di tre metri, oggi visibile nella parete di un moderno edificio adibito a deposito, prossimo ad una villa secentesca. Il paramento superstite è costruito in pietra calcarea biancastra, abbastanza compatta di provenienza locale.