Boller Slot nævnes første gang i 1350, da Otte Limbek skriver sig til Boller. De nuværende bygninger er underlagt fredning og blev opført af Holger Ottesen Rosenkrantz og hans frue Karen Gyldenstierne i årene 1537-1588.
1537
Boller Slot rekonstrueres med skorstene
1550
Sydfløjen forbindes med nordfløjen
1565
Opførsel af vestfløjen
1588
Karen Gyldenstierne fuldender det firefløjede Boller Slot
Holger Ottesen Rosenkrantz solgte i 1621 slottet til Ellen Marsvin. Hendes datter Kirsten Munk overtog og flyttede ind på slottet i 1630. Hun var gift med kong Christian IV, men blev forvist fra hoffet.
Mogens Nielsen Friis erhvervede slottet i 1664. Helt frem til 1931 var det i familiens eje, hvor jorden blev udstykket til et stort antal husmandsbrug og selve slottet blev solgt til De Danske Sygekasser, der ombyggede hovedbygningen til rekonvalenshjem.
I 1967 overtog Horsens Kommune slottet og etablerede et demens plejehjem på stedet. Det var i drift frem til 2012.
Boller Slot har frem til, at det blev overtaget af De Danske Sygekasser, altid været ejet af magtfulde og velhavende familier, hvorfor der jævnligt har fundet store ombygninger sted, så bygningerne har kunnet tilfredsstille de skiftende tiders krav til både mode og bekvemmelighed. I årene 1759-69 fandt den største ombygning sted, hvor blandt andet slottets tre tårne blev fjernet.
1769
De fire længer bygges sammen under stor ombygning
1799
Boller Slot og de tilhørende bygninger
1822
Haveplanen væsentligt udbygget
Boller Slot var en meget stor arbejdsplads, hvor indtægterne kom fra både drift af agerjord, skov, husdyr og gartneri. Brandtaksation fra 1799 viser det store gårdanlæg, hvor en stor del desværre brændte i 1937.
Boller Slots nuværende store park er betydeligt mindre end den har været historisk, som det ses på matrikelkortet fra 1822. Af den 750 meter lange lindealle er der blot ca. 50 meter tilbage, men den skønne løvskov anlagt som lystskov i 1700 tallet ned mod fjorden eksisterer stadig.
Skitser er hentet fra bogen ”Boller Slot i 650 år”, af Annette Hoff. Dette store værk, der er udgivet i 2012 giver et dybdegående indblik i stedets historie.