Built from 1581-1589 on the site of an earlier Gothic fortress by Jan the Younger of Žerotín, the château and its estates remained in the possession of the ancient Moravian dynasty of Žerotín for more than 300 years. The château consists of three wings overlooking the courtyard with three floors of arcade galleries and is crowned by a narrow octagonal tower. Although Jan was infamous for his ruthlessness towards his subjects, bullying them into woring using methods that were exceptionally cruel even for those days, his descendant Přemek II was worse; in 1662 he had the three ringleaders of a peasant rebellion beheaded. At the turn of the 18th century the Renaissance buildings were extended with a further three, also arcaded, Barroque-style wings, to which were added a Baroque-style garden featuring romantic little structures and statues. At the end of the 18th century the Žerotíns fell into debt and began selling their estates. In 1802 they had to sell the family seat in Velké Losiny to the Princely Family of Liechtenstein, in whose possession it remained until 1945. According to unfounded reports the Austrian poet Franz Grillparzer stayed in the château in the 19th century; he was supposed to have based his tragedy The Matriarch on the sad romantic story of the ghostly Žerotín protectoress. The château interiors are among the most remarkable Renaissance spaces in the Czech Republic and most beautiful of all is the banqueting hall with panelled ceiling. The picture gallery houses an outstanding collection of Italian, Dutch and Flemish paintings from the 17th and 18th centuries. The Žerotín armoury contains a collection of pistols and guns made by master gunsmiths at home and abroad from the 17-19th centuries.

Předchůdcem dnešního zámku byla vodní tvrz, která patrně vznikla již někdy ve 14. století. Roku 1496 získali tvrz Žerotínové. Stará tvrz ale novým majitelům nevyhovovala a tak začala být roku 1531 přestavována na renesanční zámek. Iniciátorem přestavby byl Jan mladší ze Žerotína. Tento velmož se zasloužil o vznik nedaleké papírny a také nechal vybudovat velkolosinské lázně. V období náboženských nepokojů se losinští Žerotínové postavili na stranu protestantských stavů, ale po jejich porážce přišli o tři čtvrtiny svého majetku - poslední čtvrtinu měli prodat. Na svých losinských statcích ale zůstali, a dokonce je v roce 1642 od Habsburků za 100 000 zlatých vykoupili zpět s podmínkou, že do tří měsíců přestoupí na katolickou víru. Jan Jetřich ze Žerotína a jeho bratr Přemek II. tak však nikdy neučinili. Učinil tak až Přemek III., syn Přemka II. Ten, ze strachu před církevními hodnostáři, odmítl svého otce pohřbít v rodinné hrobce (jeho tělo bylo pohřbeno losinskými sedláky). Přemek III. zahájil raně barokní přestavbu zámku, ale již ji nedokončil (zemřel roku 1673). Jako regentka tří nezletilých Přemkových dětí a správkyně pozůstalosti se k moci dostala pověrčivá Přemkova sestra Angela Sibylla z Galle, rozená Žerotínová, na jejíž popud byly rozpoutány čarodějnické procesy, které vedl samozvaný inkvizitor a nedostudovaný právník Jindřich František Boblig z Edelstadtu. Toto běsnění zastavil až plnoletý Jan Jáchym ze Žerotína roku 1696. Jan Jáchym byl velice vlivný šlechtic, mimo jiné císařský komoří a přísedící nejvyššího soudu pro Moravu. Za jeho působení byl zámek rozšířen o dvoupodlažní barokní křídla s arkádovými ochozy. Úpravy pokračovaly i po smrti Jana Jáchyma. Na počátku 19. století se zdejší Žerotínové dostali do finanční tíže a tak zámek prodali Lichtenštejnům. Po osvobození v roce 1945 získal zámek stát.