On the site of the present chateau there used to stand a farmhouse with a fort. Until 1867, the name of the village was Březnice, before, it was called Březník. The first written mention of it is in the deed of Prince Spytihněv II dated 1057. Before 1600, he had a Renaissance chateau built instead of the original fort of Rudolf of Býnov. The builder was Hans Bog of Pirna. On the old wing’s facade, connected to the chateau church of St. Florian by a corridor, there is a sun dial showing the date 1603 and the Latin inscription „Soli deo Gloria“. In 1730, the chateau was rebuilt in the Baroque style by Ludvík Richard Cavriani. In the 19th C., the building was extended with a new wing with a balcony. At the moment, the chateau is owned by the National Heritage Authority in Ústí nad Labem, which is preparing an extensive reconstruction project of the chateau. It is to seat the heritage authority, however, it shall also boast representative rooms that shall be available to the public. http://usti-nad-labem.cz/

V roce 1528 panství Blansko zakoupili saští páni z Bühnau i se vsí Březnice (dnešní Krásné Březno), kde zřídili hlavní sídlo. V letech 1566–1568 vystavěl Jindřich z Bünau panský dům (zachovaly se z něj sklepy pod severním křídlem nynějšího Nového zámku). V letech 1597–1603 vznikla na místě hospodářského křídla rozšířením na dvoutrakt a zvýšením o první patro budova Starého zámku ve stylu saské renesance, který charakterizuje i současně stavěnou kapli Panny Marie (nynější kostel svatého Floriána), propojenou se zámkem můstkem. Do roku 1628 postavili páni z Bünau i Nový zámek na sevřené pravidelné čtyřkřídlé dispozici kolem čtvercového nádvoří, na vnějšku s nárožními věžicemi. Páni z Bünau se však po bitvě na Bílé hoře vracejí do Saska. Zámek pak drželi Thun-Hohensteinové (do roku 1647) a hrabata z Althanu (do roku 1680), následovaní hrabaty Cavriani (od roku 1714). Nový zámek byl do nynější podoby upraven v letech 1714–1724 Johannem Ludwigem Richardem Cavrianim (úpravy začaly průrazem panské oratoře v kostele, následovalo zvýšení Nového zámku o barokní patro, jehož pozoruhodný barokní krov byl dendrochronologicky datován do roku 1724). Roku 1754 panství koupil hrabě Jan Hartig. V letech 1798–1805 byl starý zámek upraven na byty panských úředníků. Okolní barokní zahrada s ozdobnými stavbami z podstatné části zanikla roku 1849 v souvislosti s budováním železnice do Drážďan. Zbylá část byla pak po demolici hospodářského dvora změněna v anglický park, ze kterého je zachováno torzo, redukované ještě za druhé světové války při výstavbě silnice. Zámecká kaple se roku 1897 stala farním kostelem. Zámek byl po roce 1945 zestátněn (posledním soukromým majitelem byl Lev Skrbenský z Hříště, syn Malvíny Kolowrat-Krakowské-Novohradské). Od poloviny 20. století do roku 2002 bylo v zámku umístěno výpočetní středisko Československých státních drah. V devadesátých letech 20. století byl opuštěný a nevyužívaný zámek ve velmi devastovaném stavu. Rozsáhlá obnova starého a nového zámku se uskutečnila v letech 2009–2011; po té zde bylo zřízeno sídlo ústeckého územního odborného pracoviště Národního památkového ústavu. Kostel svatého Floriána byl po restaurování v letech 2011–2013 (zejména ojedinělý renesanční oltář s alabastrovými reliéfy) zpřístupněn veřejnosti.