A stronghold was established in the place probably in the 1570s. The founder was Jan z Boskovic. After The Battle of White Mountain, the Bludov Manor was confiscated and given to Kryštof Pavel z Lichtenštejna who rebuilt the stronghold as a late Renaissance château. Later, the château was baroquely modified. In 1710, Bludovský zámek was sold to the House of Žerotín, who owns the château till today. Bludovský zámek became Žerotín’s permanent residence when Karel Ludvík, the house member, sold Velké Losiny château in 1802 because of financial problems. Žerotin’s library, picture gallery, archives, and a collection of weapons were moved as well. Although House of Žerotin was Czech noble, they registered as Germans during the Nazi occupation, therefore the castle was confiscated in 1945, but in 1950, the then Regional national committee in Brno returned Czech citizenship to Helena Zerotinova, arguing that she acted under the pressure of occupation during the war. Château rooms were used as a post office, library and municipal office during the communist dictatorship, therefore some rooms were reconstructed to fit more its new purpose; unfortunately reconstructions did not respect late Renaissance and baroque character of building. The château was returned to Slovak stem of house of Žerotín during the 1990s. The Slovak stem is called the house of Mornstein-Zierotin. The public library was moved to a Bludov School, the municipal office was moved to another school’s building. The post office was moved to a local shopping centre.

Na místě dnešního zámku se nacházela tvrz, která byla postavena snad někdy v sedmdesátých letech 16. století. Jejím majitelem byl Jan z Boskovic. Po bitvě na Bílé hoře bylo bludovské panství zkonfiskováno a předáno Kryštofu Pavlovi z Lichtenštejna, který tuto pevnost přebudoval na pozdně renezanční zámek, který byl později barokně upraven. V roce 1710 byl zámek prodán Žerotínům, kteří jej vlastní dodnes. Hlavní žerotínskou rezidencí se zámek stal roku 1802, kdy Karel Ludvík ze Žerotína prodal zámek ve Velkých Losinách kvůli svým finančním problémům. Žerotínská knihovna, obrazárna, archivy a sbírka zbraní byla do Bludova přestěhována taktéž. Tyto artefakty byly po druhé světové válce zkonfiskovány státem a znovu umístěny do velkolosinských depozitářů, v rámci restitucí je ale Žerotínové získali zpět, ovšem část z nich se ve Velkých Losinách stále nachází, jsou tam zapůjčeny. Důvodem poválečné konfiskace byla údajná kolaborace Heleny Žerotínové s nacisty, ale v roce 1950 komise uznala, že její spolupráce byla vynucená. Během komunistické diktatury byl zámek pod správou obce Bludov, která jej využívala jako sídlo obecního úřadu, pošty a veřejné knihovny. Některé místnosti byly upraveny, aby více vyhovovaly svým novým účelům, bohužel rekonstrukce často nerespektovaly historický charakter zámku. Během 90. let 20. století byl zámek vrácen větvi Žerotínů, Mornstein-Zierotinům, jmenovitě Karlu Mornstein-Zierotinovi. Veřejná knihovna stejně jako obecní úřad byly přestěhovány do budov základní školy. Pošta své nové místo nalezla v budově obchodního střediska.