The first written mention of hradohrazení Green Mountain is from the year 1221. At the end of the 13th century Nepomuk let nearby Cistercian monastery built a church, into which reportedly regularly attended and later saint, John of Nepomuk. In the 1st half of the 15th century Hynek Krušina Švamberk highlights the castle, which was to replace the older Hussite fortifications. Subsequently adapted into a Renaissance castle and in the last third of the 17th century extensively rebuilt in the early Baroque style. Minor modifications castle building took place during the 19th century and early 20th century. It is still a place where legends are mixed with precious history, experience and beauty. http://zelenahora.cz/

Prní zmínka o původním hradu pochází z nařízení krále Přemysla Otakara II. z roku 1221. Na konci roku 1419 opevňoval kopec Mikuláš z Husi, který horu pojmenoval Olivetskou. Roku 1420 bylo nedokončené hradiště dobyto Bohuslavem ze Švamberka. Pravděpodobně ještě před rokem 1564 držel Zelenou Horu Zdeněk ze Šternberka. Dne 28. listopadu 1465 se zde konalo setkání českých pánů, kteří byli v opozici k českému králi Jiřímu z Poděbrad, a zformovali zde tzv. zelenohorskou jednotu. Po roce 1529 král zapsal hrad Zdeňku Lvovi z Rožmitálu. Již roku 1536 však drží hrad znovu Šternberkové. Dnešní zámek stoji na místě hradu, který byl v letech 1669–1696 přestavěn rodem Šternberků na barokní zámek, v jehož areálu býval poutní kostel Nanebevzetí Panny Marie. Od roku 1726 byl ve vlastnictví Martinicům a pak od roku 1784 Colloredo-Mansfeldů. V letech 1852 až 1931 byl zámek ve vlastnictví rodu Aueršperků, poté jej zakoupili manželé Plavcovi a roku 1938 se stal majitelem Karel Blažek. Protože nezaplatil státu převodní poplatky, připadl zámek do majetku státu. Do roku 1947 byly pro veřejnost otevřeny zámecké sbírky. Po roce 1948 sloužil armádě a byl sídlem pomocného technického praporu. V roce 1990 areál opustila československá armáda a v roce 1992 zámek převzala obec Klášter, která ho postupně rekonstruuje.