The original water castle named Lipý comes from the 13th century. The best-known owner of the castle was Jindřich of Lipá. Until the mid 17th century, the castle was the residence of the Berka family of Dubá, who had it rebuilt in the 17th century into a Renaissance chateau with a two-storey palace. In the course of time, the chateau was abandoned and it was pulled down in 1957. The relics of the original structures comprise a ruin with preserved cellars, parts of the bullwark, and a fragment of the second gate. http://liberecky-kraj.cz/

Hrad založil zhruba v roce 1268 na ostrově mezi tehdejšími rameny řeky Ploučnice Chval z rodu Ronovců, nejspíše na místě strážného hrádku srbských Milčanů. V dostavbě dřevěného sídla pokračoval jeho syn Čeněk (možná byl zakladatelem on), který se jako první z rodu psal v roce 1277 „z Lipé“. Protože padl roku 1278 v bitvě na Moravském poli, hradním pánem se stal jeno syn Jindřich z Lipé, významný šlechtic králova dvora. Listiny, dosvědčující prodeje či převody hradu se z dob před rokem 1320 nedochovaly. Kolem hradu byly stavěny další budovy vč.kostela a v období mezi roky 1305 až 1319 Jindřich z Lipé zde založil městečko, dnešní Českou Lípu. Původní hrad byl tvořen dřevěnou obytnou stavbou na západní straně dispozice. Obehnána byla příkopem s vnějším valem, zakončeným s největší pravděpodobností dřevěnou palisádou. Krátce po založení hradu byla v severní části vybudována mohutná kamenná věž kruhového půdorysu o průměru 12,6 m (bergfrit), která sloužila nejen jako skladiště, ale byla hlavně posledním útočištěm obránců hradu. V místech dnešního vstupu na hrad stávala dřevěná obytná budova, z níž se dochovaly pouze základy pece.