The city's baroque castle dates to 1757. It belonged to the Salm family, and passed to the Herbersteins in the late 18th century. The Herbersteins added the castle's neobaroque tower. The castle passed to municipal control after 1945, and it was damaged by a fire that destroyed one block in 1978. The castle now serves as the town museum, with a memorial hall devoted to academic sculptor Carl Otáhal who lived in Velké Opatovice for 30 years. In 2007, the burnt part of the building was replaced with an elliptical auditorium. The castles grounds include beautiful parkland containing plant and animal species and a statue of Bedřich Smetana.

Zámek ve Velkých Opatovicích pocházející z poloviny 18. století se nachází nedaleko kostela svatého Jiří. Na místě, kde stávala původní malá tvrz, dal roku 1699 postavit Jiří Markvart z Vězník skromný barokní zámek s pěti obytnými místnostmi. Na okolních pozemcích, které byly odvodněny, vznikl zámecký park. Roku 1757 nechal Karel Otto hrabě Salm-Neuburg na místě původního zámku postavit nový pozdně barokní stavbu. Při přestavbě byla zbořena i původní tzv. horní tvrz. V polovině 19. století a v letech 1908-1911 a 1914-1917 prošel zámek stavebními úpravami, při kterých byl nahrazeny původní střechy novými mansardovými s podkrovními místnostmi, postavena zahradní lodžie a při vjezdu do zámku vznikla nová vrátnice. Za první světové války byl v zámku umístěn lazaret. Od roku 1934 zámek vlastní obec, která do něj nastěhovala obecní úřad a obecní školu, pro kterou zde byla přistavěna tělocvična. Roku 1973 vyhořela jižní část zámku, ve kterém byla umístěna škola a salla terenna. V 80. letech bylo v zámeckém parku zbudováno letní kino. Vyhořelá část zámku byla stržena a místo ní bylo podle projektu Ing. arch. Zdeňka Fránka zahájeno budování nového sálu. V zámku sídlí městský úřad, banka a několik soukromých podnikatelů. Zámek je chráněn jako kulturní památka České republiky. Stavba nové části budovy trvala až do roku 2007. Po dokončení zde vzniklo Moravské kartografické centrum, vystavující zde stálou expozici z vlastních sbírek i ze sbírek Národního technického muzea. Stavba arch. Fránka kombinuje hrubě opracovaný pohledový beton ve výstavních prostorách a dřevěné obložení střechy. Atypický strop hlavního sálu připomíná chrámovou loď.