Pierwszy Pałac w Brodach powstał dla rodziny Promnitzów w latach 1670 - 1674 zaprojektowany przez architekta Francko. W 1740 roku majątek brodzki kupił hrabia Henryk Brühl. Za 2 000 ha posiadłości hrabia zapłacił rodzinie Watzdorfów sumę 160 000 srebrnych talarów saskich. Jan Krzysztof Knoffel, w latach 1741 - 1753 storzył tam założenie rezydencjalne zgodnie z zasadami epoki baroku, związane z najbliższym otoczeniem i krajobrazem naturalnym. Zespół wywodzący się z saskiego baroku prezentuje wysoki poziom artystyczny i należy do nielicznych zachowanych układów barokowych naszego województwa. Układ urbanistyczny z XVIII wieku składa się z pałacu, oficyny, kościoła, Bramy Zasieckiej i kilkunastu domów. Ta niezwykła kompozycja zachowała się do dnia dzisiejszego. Wart uwagi jest także przypałacowy park, będący niegdyś urządzony w stylu angielskim i francuskim, pełen niezwykle rzadkich okazów drzew i krzewów rosnących nad malowniczym jeziorem. Ogród ten stanowił perfekcyjną scenografię do sztuki "Sen nocy letniej" Williama Shakespeare'a, którą wyreżyserował tam Brühl. Wydarzenie odbiło się echem po całej Europie.

Majątek Brühla był niezwykle okazały. Należało bowiem do niego pięć miast, 170 wsi i około 120 tysięcy ha ziemi. Jako dyrektor fabryki porcelany nakazał wykonanie dla siebie i króla serwisu łabędziego przeznaczonego dla stu osób, który składał się z ponad dwóch tysięcy talerzy, waz, filiżanek, półmisków, przy których ucztowano w pałacu. Niektóre miały tak skomplikowane i fantazyjne kształty, że z czasem przestały pełnić funkcję użytkową. Całość została nazwana Schwanenservice, czyli Serwisem Łabędzim, jako że każdy jego fragment ozdabiała para łabędzi i inne elementy kojarzone z wodą: delfiny, nereidy, syreny, muszle i kwiaty. Prace prowadzone przez Johanna Joachima Kändlera i Johanna Fryderyka Eberleina w Miśnieńskiej Manufakturze Porcelany trwały cztery lata. Kunszt, z jakim została wykonana miśnieńska zastawa, sprawił, że wkrótce stała się obiektem kultu. Dziś jedynie niewielka część tej wspaniałej kolekcji, która jest jedną z najsłynniejszych i najdroższych zastaw świata, znajduje się między innymi w galerii drezdeńskiej i Metropolitan Opera w Nowym Jorku oraz Muzeum Narodowym w Warszawie.

Niestety w roku 1758 na rozkaz Fryderyka II, który nienawidził hrabiego Brühla, pałac splądrowano i spalono. Był on odbudowywany jednakże nigdy nie powrócił do swej świetności. Podczas II wojny światowej majątek ograbiono ze wszystkich kosztowności, a w 1945 roku armia sowiecka dopełniła dzieła zniszczenia.

Dziś w dwóch odrestaurowanych oficynach znajduje się hotel i restauracja oraz centrum konferencyjne jednakże sam pałac pozostaje w ruinie.