Plumlovský zámek byl postaven v letech 1680 - 1690 Janem Adamem z Lichtenštejna v pořadí třetím majitelem plumlovského panství. Důvodem této stavby byla absence rezidence, odpovídající jejich bohatství a společenskému postavení. Nástupci Karla z Lichtenštejna, knížeti Karlu Eusebiovi, to příliš nevadilo, neboť se trvale zdržoval ve Valticích, ale jeho syn, podnikavý Jan Adam, se začal zabývat myšlenkou na opravu a přestavbu plumlovského hradu.
Karel Eusebius, který se dlouhá léta zajímal o architekturu, nejprve navrhoval přístavbu třetího patra hradu, ale později změnil názor a navrhl synovi stavbu nového, velkého, čtyřkřídlého zámku podle vlastního projektu. Ve svých architektonických názorech byl silně ovlivněn renesancí, zejména italským stavitelem Vignolou. Plumlovský zámek mel být podle původní projektantovy představy čtyřkřídlou stavbou v podobě čtverce s dvěma radami pokojů ve všech křídlech. Budova měla mít tři patra s bohatou fasádou, zdobenou z vnitřní i vnější strany po celé výšce volnými monolitickými sloupy, jejichž každá vrstva měla být podle klasických renesančních pravidel jiná. Stavbu zámku prováděli z převážné části němečtí řemeslníci z Olomouce, na jejichž práci dohlížel knížecí zednický mistr Ondřej Klos, povolaný z Valtic. Hrubá stavba zámecké budovy byla svěřena zednickému mistru Melcherovi z Olomouce, zhotovení sloupů nádvorní fasády a ostění oken a dveří olomouckému kameníku Václavu Schüllerovi. Na stavbě pracovali hlavně robotníci z plumlovského panství a severomoravských lichtenštejnských dominií. Pískovec pro výzdobu fasády se dovážel z lichtenštejnských lomů ze Svojanova.
V letech 1680 - 1681 dohlížel osobně na stavbu kníže Jan Adam. Trávil na Plumlově své líbánky, neboť se v únoru 1681 oženil s Ermundou, dcerou knížete Ferdinanda z Ditrichštejna. Dostal se však záhy do sporu se svým otcem Karlem Eusebiem, protože při realizaci stavby nedodržoval přesně jeho plány a dával přednost úspornějším řešením.
Místo dvou řad pokojů nechal vybudovat pouze jednu řadu, obrácenou k jihu a spojenou dlouhou chodbou, situovanou na severní straně. Zavrhl také otcův návrh vyzdobit sloupovím i vnější fasádu obrácenou k rybníku. Již v druhém roce stavby byl svojanovský pískovec nahrazován místy na fasádě cihlovým zdivem a štukou. Starý kníže, který snil o tom, že postaví nejnádhernější stavbu na Moravě, byl těmito změnami roztrpčen stejně jako nevhodností místa, na němž stavba vyrůstala. Doporučoval synovi, aby stavbu přerušil a začal znovu na protějším kostelním návrší. Mladý Jan Adam nakonec v důsledku nedorozumění s otcem opustil koncem léta 1681 se svou manželkou Plumlov a přenechal dohled nad stavbou plumlovskému hejtmanovi.
Počátkem roku 1684, když stavba dospěla už do posledního patra, zemřel její projektant Karel Eusebius z Lichtenštejna. Tím zájem o její pokračování opadl a kníže Jan Adam jí dal v polovině roku zastavit. V příštím roce byly stavební práce sice obnoveny, pokračovaly však pomalu, hlavně pro nedostatek pracovních sil. Tehdy už bylo jasné, že z původní projektantovy představy zůstane jen torzo, neboť realizace celého projektu by si vyžádala finanční náklad neúnosný i pro bohaté Lichtenštejny. V roce 1685 se stavba zastřešila a začalo se s vnitřními úpravami. Ty prováděli opět němečtí mistři z Olomouce, pouze dveře vyrobil brněnský mistr Hanuš Michl. Štuková výzdoba sálu, pokojů a chodeb byla svěřena štukatérovi italského původu Janu Baptistovi Brentanimu, usazenému v Olomouci, který s pomocníky pracoval už na hlavicích sloupu a vlysech zámecké fasády. Jednodušší štuková výzdoba schodiště byla přenechána plumlovskému zedníkovi Janu Pavlasovi. Štuková výzdoba sálu je umělecky nejcennější částí zámeckých interiérů a byla dokončena v roce 1686. Při závěrečných pracích se také uplatnil knížecí štukatér z Valtic. Koncem roku 1686 zbývala už jen malířská výzdoba stropu v prvním a druhém patře, kterou počátkem roku 1687 zadal kníže vídeňskému malíři Jiřímu Greinerovi. Jako náměty pro obrazy byly vybrány antické motivy podle Vergiliovy Aeneidy. Greiner pracoval na plumlovském zámku celý rok a namaloval tu celkem 7 nástropních fresek, 4 v prvním a 3 ve druhém patře. Malby mají dosti těžkopádnou kompozici a umělecky nedosahují kvality štukových rámu. V následujících letech pomalu končily malířské a natěračské práce, avšak v roce 1690 byly definitivně přerušeny.
Zámek zůstal neobydlen a nebyl ani vybaven žádným nábytkem. Teprve v roce 1692, když se kníže Jan Adam konečně odhodlal shlédnout dokončenou stavbu, byly narychlo zařízeny 4 pokoje, ve kterých pak Lichtenštejnové při svých řídkých a krátkých návštěvách panství přespávali. V mezipatrech sídlili panští úředníci a nejvyšší patro, namnoze ještě bez oken a dveří zůstalo nedokončeno.
V 18. století stavěla vrchnost pro rostoucí správní potřeby panství raději na místě opevnění, kterým plumlovský hrad kdysi obehnal Karel z Lichtenštejna, další přízemní správní budovy, obklopující zámecké nádvoří v podobě tzv. nízkého zámku. Když zámek v roce 1801 poškodila vichřice, při níž byla rozbita břidlicová střecha a povaleny některé sloupy fasády, uvažoval tehdejší majitel panství kníže Alois z Lichtenštejna dokonce o jeho zboření. Na doporučení plumlovských úředníků však dal strhnout pouze starý hrad, na zámecké budově byly provedeny nutné úpravy a z jednoho pokoje ve druhém patře se stala kaple, do které byl přenesen barokní mobiliář ze zbořené hradní kaple. Po roce 1850 bylo celé jedno podlaží zámku pronajato plumlovskému okresnímu soudu a bernímu úřadu. Ostatní obyvatelná podlaží sloužila jako byty úředníků. V letech 1867 - 1869 byla restaurována fasáda , z níž začaly v kusech odpadávat štukové ozdoby. V rámci první pozemkové reformy byl celý plumlovský lichtenštejnský majetek v roce 1931 zabrán a zámek přešel do vlastnictví státního pozemkového úřadu. Později jej získala správa státních vojenských lesu, která ho vlastnila až do roku 1965.
Stav zámku, opravovaného naposledy roku 1907, nebyl uspokojivý, a proto jej Vojenské lesy, n.p. , Plumlov, v letech 1964 - 1965 opravily, stáhly celou stavbu ocelovými lany a zpevnily nejvíce poškozené zdi.
Zámek má ve své konečné podobě neobvyklý vzhled, neboť jeho rozměry byly voleny se zřetelem k projektované čtyřkřídlé stavbě. Budova má celkem 6 nadzemních podlaží s dvěma patry a třemi mezipatry. Jednotlivá podlaží jsou spojována hlavním schodištěm na západní straně a točitými schody pro služebnictvo na východní straně zámku. Nádvorní fasáda spojuje vždy patro a mezipatro jednou radou volných sloupu, ukončených složitými hlavicemi, v přízemí toskánskými, ve středním patře jónskými a v nejvyšším patře kompozitními. Jednotlivá patra jsou oddělena římsami, pod kterými probíhají po celé délce budovy štukové vlysy. Okna hlavních pater jsou zdobena podokenními kuželovými balustrádami.
Od roku 1966 spravovalo zámek krajské středisko Státní památkové péče a ochrany přírody v Brně. V roce 1987 se majitelem zámku stává Muzeum Prostějovska a v roce 1994 přechází do majetku Obce Plumlov, která na něm ihned zahájila nejnutnější opravy. Tyto byly ve větším měřítku zahájeny v roce 1996 a financovány byly z prostředků Ministerstva kultury ČR, v rámci programu " Záchrana architektonického bohatství " a částečného přispění města Plumlov z vlastních finančních prostředků. Do roku 2001 byla opravena střešní část zámku, vyměněny byly prohnilé krovy, trámy a laťoví. Na střeše byla vyměněna stará krytina za novou. Bylo provedeno statické zajištění zámku pomocí lan - zámek byl stáhnut lanovým systémem. Dosavadní stažení zámku lany již nebylo funkční, protože lana byla již popraskaná vinou nezakonzervování a nekvalitního provedení v letech 1964 - 65. Oba štíty zámku byly okopány a znovu zaomítány. Byly také provedeny nutné zednické práce uvnitř budovy, související se statickým zajištěním zámku. Dřevěné schody hlavního schodiště zámku byly odborně ošetřeny proti výskytu dřevomorky a škůdců. Kolaudace statických prací proběhla 18.12.2001. Další práce v roce 2001 byly zaměřeny na přízemní část budovy vysokého zámku. Byly vybourány příčné zdi, které rozdělovaly původní sály na malé místnosti, které v minulosti sloužily jako byty knížecích úředníků, po roce 1860 jako byt žalářníka patřícího k okresnímu soudu na Plumlově. V sálech byla odstraněna stará a nerovná omítka a byla nahrazena novou. V této části zámku byla dále zazděna nová okna, vrata a dveře. Bylo rovněž opraveno a zpřístupněno dvoupatrové sklepení pod vysokým zámkem, které prakticky nikdy nebylo zpřístupněno veřejnosti. KZ Plumlov zde pořádá zajímavé kulturní akce.