Dai Vettori alla famiglia Albisetti…
I primi proprietari furono i Vettori. L’ultima erede, Maddalena, portò in dote nel 1577 il castello al marito, Ludovico Capponi. I due coniugi lo restaurarono completamente e diedero a Bernardino Poccetti, importante pittore manierista, l’incarico di affrescare il loggiato del cortile interno. La Paneretta divenne in quell’epoca luogo di passaggio di artisti e letterati, tra cui Girolamo Muzio, che le dedicò un poema e vi rimase fino alla morte.
Anche la produzione vinicola è attestata da documenti a partire dal 1596. Nel 1669 Cassandra Capponi portò in dote al marito, Marchese Carlo Riccardi Strozzi, sia il castello sia una ricchissima collezione di codici, pergamene e libri che in seguito, andarono a costituire il nucleo principale della biblioteca Riccardiana di Firenze. Gli Strozzi conservarono la proprietà fino al 1984, anno in cui subentrò la famiglia Albisetti.