The castle was built shortly before 1250 by members of the Markwartic family. The first owner cited was Jaroslav of Hrutwice, today Hruštice, who built the castle for his son Vok of Rotštejn. For his second son, Zdeněk, he built Valdštejn Castle and became the founder of the Waldstein family. In 1360 the castle was in the possession of Ješek of Rotštejn, who obtained permission from Charles IV to hold a weekly market in the nearby village of Klokočí. In the year 1415, the Rotštejn family died out and the whole estate fell to Andrew and Vanek Paldrovi Varina, who owned the entire estate throughout the Hussite Wars. The castle was probably burned by the Hussites, unlike other neighboring castles, such as Návarov Castle. According to other sources, the castle was conquered in 1426, but its landlord lived on a farm in the nearby village of Klokočí. Hussite presence at the castle is not confirmed by archaeological findings and written sources. In a later written mention of the castle in 1540, it is reported as abandoned, with the rocks and walls demolished in the courtyard. To further contributed to the destruction of the castle was the natural erosion of the sandstone rocks. In a report of 1514 the castle was considered abandoned with walls and rocks warped in the courtyard. During the Thirty Years' War in the beginning of the 17th century, this place was used to shelter people from the soldiers. Residents were hiding in cavities carved into the sandstone rocks that were mistakenly considered part of the castle stables.

Hrad byl krátce po roce 1250 založen šlechtici z rodu Markwarticů. Jako první majitel je uváděn pan Jaroslav z Hrutwice, dnes Hruštice, který nechal hrad vystavět pro svého syna Voka z Rotštejna. Druhý ze synů Zdeněk si postavil Valdštejn a stal se zakladatelem rodu Valdštejnů. „Nejslavnějším“ majitele hradu je Vok II. z Rotštejna jemuž od roku 1312 šlechtici nejen z blízkého okolí různě na majetku a statcích škodili (J.V.Šimák). Vše vyvrcholilo v roce 1318, kdy panství rotštejnské a hrad samý zpustošila veliká přesila vojska, kniha půhonná uvádí 152 šlechticů. V roce 1360 hrad držel pan Ješek (Jan) z Rotštejna, který od Karla IV. získal povolení pořádat týdenní trhy v blízké vesnici Klokočí. V roce 1415 rod Rotštejnů vymřel a celé panství připadlo Ondřejovi či Vaňkovi Paldrovi z Vařin, jenž celé panství včetně hradu vlastnil po celou dobu husitských válek. Možná husité hrad, na rozdíl od jiných (Valdštejn, Návarov) nevypálili, protože ještě po roce 1430 se sem Vaněk vrátil a našel hrad v použitelném stavu. Podle jiných zdrojů hrad dobyli roku 1426 a domácí pán pak bydlel na statku v nedaleké vsi Klokočí. K další zkáze přispělo přirozené zvětrávání pískovcových skal. Ve zprávě o prodeji z roku 1514 je již hrad uváděn jako pustý se zdmi a skalami zborcenými do nádvoří. Počátkem 17. století začali „skalní dutiny nově se objevivší při patě skal zámku zborceného“ upravovat vesničané. Postupně zde vznikl unikátní komplex vesnického osídlení.