Castagneto deve il suo nome alla selva di castagni che ancora oggi lo circonda. Tracce di un probabile castello si ritrovano nella parte più alta del paese, chiamata ancora "castello" che certo doveva costituire, con la torre sottostante, un unico corpo fortificato comprendente le case e le mura adiacenti fino alla chiesa posta ai suoi piedi.
La chiesa, dedicata a S.Lorenzo, è stata completamente ristrutturata in seguito alla distruzione subita durante la Seconda Guerra Mondiale e non è possibile risalire all’origine precisa; dovrebbe comunque risalire al XIII secolo. Da visitare anche Villa Bibone, con il suo oratorio dedicato a S.Andrea e l’antico Borgo.