La sua costruzione fu iniziata alla fine del 1500 da Attilio Incontri nobile volterrano; la facciata, attribuita all’Ammannati, costituisce un raro e pregevole esempio dello stile di transizione fra il Rinascimento e il Barocco. Nel 1850 Giuseppe Viti commerciante dell’alabastro comprò il palazzo provvedendo ad un suo radicale restauro.

Le sue dodici sale aperte al pubblico sono arredate splendidamente con mobili, quadri, porcellane, collezioni di alabastro e altri oggetti artistici di notevole pregio, rappresentanti l’arte italiana, europea e orientale dal 1400 al 1900. Tutto è rimasto come lo hanno visto, nel corso dei secoli, i re, i principi che vi furono ospitati. Nel 1964 Luchino Visconti vi girò parte del film “Vaghe stelle dell’Orsa” con J. Sorel e C. Cardinale, film premiato con il Leone d’oro al Festival di Venezia