De kasteelsite ontstaat op voormalig veldgebied, een uitloper van het Bulskampveld (zie Beernem). Op het einde van de 18de eeuw is dit nog een onontgonnen moerasgebied, nagenoeg zonder bewoning zie de Ferrariskaart (1770-1778). In de eerste helft van de 19de eeuw wordt het veld omgezet naar bosgebied en ter wille hiervan doorsneden met rechte perceleringsdreven in dambordpatroon, zoals te zien op de Atlas der Buurtwegen (1844) en de Ph. Vandermaelenkaart (circa 1850). Op de Atlas komt op grondgebied Zedelgem het toponiem Hoogeveld voor. In de tweede helft van de 19de eeuw wordt het bos omgezet naar landbouwgrond maar met behoud van het drevenpatroon, nog herkenbaar in meerdere straten in de zuidoosthoek van Veldegem en de aanpalende gemeente Ruddervoorde (zie Oostkamp).

In 1846-1847 wordt een stuk grond op de wijk De Sysloo (toen op grondgebied Ruddervoorde, zie Oostkamp, ten oosten van de toenmalige grens van Zedelgem), met vijvers en aan oostzijde begrensd door de Langendijkbeek, verdeeld in twee rechthoekige percelen. Op het westelijke perceel wordt een boerenhuis (ten noordwesten van het erf) met schuur (ten zuidwesten) en ovenhuis gebouwd, bouwheer is de Brugse dokter Antonius Herrebout. Tevens wordt de noordelijk gelegen verbindingsweg tussen Zedelgem en Ruddervoorde (huidige Ruddervoordsestraat) rechtgetrokken. Circa 1861 laat Antonius Herrebout tegen de noordzijde van het boerenhuis een kasteel optrekken. Op het domein wordt vóór 1882 op het einde van een dreef, aan de Ruddervoordsestraat een kapel gebouwd. In 1889 registreert het kadaster, het kasteel is nu eigendom van de familie van Outryve d'Ydewalle-de Thibault de Boesinghe Clement, een uitbreiding ten koste van het boerenhuis. Ten zuidwesten van het kasteel wordt een nieuwe, langwerpige woning opgetrokken. Een mutatieschets van 1912 toont een grondige verbouwing van het kasteel die zeker al tien jaar eerder was doorgevoerd. Op een foto van vóór de Eerste Wereldoorlog is de noordvleugel van het kasteel te zien. Het huis heeft een zadeldak en in de noordgevel een ingangsportiek steunend op zuilen, erboven een terras en serliana in de topgevel. Met de erkenning van Veldegem in 1920 als onafhankelijke gemeente wordt een deel van Ruddervoorde (zie Oostkamp) toegevoegd waardoor het domein "Hoogveld" nu op grondgebied Veldegem ligt.

In 1920 is de familie van Zuylen van Nyevelt-de Spoelberch de nieuwe eigenaar. Bij het kasteel wordt na de sloop van het aanleunende boerenhuis de zuidvleugel een weinig verlengd en aan westzijde de uitbouw met kapel gebouwd. Wellicht dateert het mansardedak van de noordvleugel ter vervanging van het zadeldak uit die periode. Het ovenhuisje verdwijnt. Ten zuiden van de schuur worden een kapel en landgebouw toegevoegd. Het langwerpige huis in de zuidwesthoek kent een eerste uitbreiding, wordt circa 1931 opgesplitst in twee woningen en in de jaren 1970 (het domein is nu in handen van de familie d'Udekem d'Acoz) weer samengevoegd en aan de linkerzijde een weinig vergroot. Na de aankoop door de VZW V.K.S.J wordt circa 1985 het paviljoen langs de oostelijke toegangsdreef gerealiseerd. Het huidige landhuis vervangt in 2002 de schuur van 1855.

https://inventaris.onroerenderfgoed.be/erfgoedobjecten/210075