Pozostałości dwuczłonowego zamku krzyżackiego w Lipienku zachowały się wśród mokradeł otaczających zanikające jezioro Zamkowe. Pierwsze wzmianki o umocnionej zakonnej strażnicy, zapewne jeszcze drewniono-ziemnej, pochodzą z roku 1277. Została ona zniszczona podczas najazdu Jaćwingów na ziemię chełmińską. Prawdopodobnie jeszcze pod koniec XIII wieku Krzyżacy rozpoczęli budowę murowanego zamku, siedziby wójta podległego bezpośrednio wielkiemu mistrzowi w Malborku.

Zamek w Lipienku powstał na długim półwyspie wcinającym się w jezioro. Wznosił się kilka metrów ponad otaczające go podmokłe łąki i bagna. Dodatkowo od południa i zachodu otoczony był niewielką rzeczką, która zasilała zamkową fosę. Zamek właściwy, było to czteroskrzydłowe regularne założenie na planie prostokąta o wymiarach 33x39m. Z powodu późniejszych zniszczeń obecnie trudno odtworzyć jego dokładny wygląd. Wiadomo, że miał wewnętrzny dziedziniec a budynki były podpiwniczone. W narożniku płn-wsch usytuowana była kwadratowa wieża główna. Zamek posiadał międzymurze, ponieważ otoczony został zewnętrznym murem oporowym wzmocnionym skarpami. Mur był niewysoki i biegł wzdłuż sztucznie uformowanej krawędzi wzgórza, zbliżonego kształtem do kwadratu o długości boku 60m. Wjazd do zamku prowadził od wschodu od strony podzamcza obdzielonego szeroką fosą. Podzamcze posiadało własne mury obronne i budynek bramny od wschodu. Wjazd dodatkowo chroniła nawodniona fosa szeroka na 20m i głęboka na 4m. Wzdłuż dłuższych murów północnego i południowego znajdowały się budynki o charakterze gospodarczym.

Zamek w Lipienku stanowił mocny punkt obronny państwa krzyżackiego. Przekonał się o tym król Władysław Łokietek, który jesienią roku 1330 wspierany wojskami węgierskimi i ruskimi próbował odbić ziemię dobrzyńską. Mimo szturmów i użycia maszyn oblężniczych nie udało się zdobyć zamku, którego obroną dowodził komtur chełmiński Otto von Luterberg. Wskutek niemożności zrealizowania planów, król Władysław Łokietek zgodził się na warunki rozejmu zadawalając się jedynie zniszczeniem bliższej i dalszej okolicy.

W roku 1410 po przegranej przez Zakon Krzyżacki bitwie pod Grunwaldem, zamek został zajęty przez wojska króla Władysława Jagiełłę. Poprzestano jedynie na zrabowaniu zapasów i jeszcze tego samego roku Polacy opuścili Lipienek. W rękach krzyżackich warownia pozostawała do wojny trzynastoletniej. Na mocy postanowień II pokoju toruńskiego z roku 1466 ziemia chełmińska powróciła do Polski, a Lipienek stał się siedzibą starostów. Dzieje zamku przez następne stulecia nie są zbyt dobrze znane, jednak do końca XVI wieku pozostawał mającym spore znaczenie militarne obiektem.

Kres świetności zamku w Lipienku nastąpił podczas wojny polsko-szwedzkiej zwanej "potopem" w roku 1659. Kilkukrotnie zdobywany został poważnie zniszczony i stracił swe walory obronne. W późniejszych latach był wykorzystywany jako obiekt gospodarczy. Po pierwszym rozbiorze Polski w 1772 przestał być własnością królewskich starostów i pozbawiony opieki szybko popadł w ruinę.