The castle was built in the second half of the 13th century by Oldřich Zajíc III, but the Zajíc family soon moved elsewhere and sold the castle to the king. In 1336, the house of Luxembourg acquired Žebrák and in 1346, Jindřich of the Luxembourg house started renovating it. He later gave the castle to Karel IV, who became the Holy Roman Emperor shortly afterwards. Karel's son Václav IV liked the castle very much, but after the large fire in 1395, he built a more strategically positioned castle above it. During the Hussite wars, the Hussite army unsuccessfully besieged Žebrák and Točník and then proceeded to burn down the towns Točník and Hořovice. In 1532, another fire struck the castle, but this time, nobody bothered renovating it. In the year 1923, the castle was sold to the Czech Association of Tourists for 8000 crowns and now it belongs to the state.

Hrad byl založen ve druhé polovině 13. století Oldřichem Zajícem z Valdeka nedaleko důležité obchodní stezky z Prahy do Bavorska. Za vlády Jana Lucemburského se stal majetkem českých králů. Velká přestavba a rozšíření hradu proběhlo za vlády Karla IV. a jeho syna Václava IV., který zde často pobýval. Po požáru v roce 1395 dal Václav IV. vystavět na nedalekém kopci nový hrad Točník a význam Žebráku postupně klesal. V roce 1425 byl Žebrák neúspěšně obléhán husity. Koncem 15. století ještě byla provedena oprava a posílení opevnění hradu. V roce 1552 však již byl Žebrák uváděn jako pustý. Rozsáhlá rekonstrukce hradu proběhla v 80. letech 20. století, kdy byla zachráněna a zpřístupněna hlavní kruhová věž.