Landhuis, in 1891 omgebouwd tot kasteelachtige villa in opdracht van Edgard Fox. Omgeven door landgoed van circa 1 hectare 28 are, oorspronkelijk samengesteld uit drie omwalde eilandjes (neerhof, kasteeleiland en eilandtuin).

Het kasteel Ter Borgt wordt op een ets van Harrewijn van 1699 afgebeeld met zijn onmiddellijke omgeving, zijn dreven en boomgaarden, maar het aanpalende 'speelhuis' van Diependael, dat al minstens sinds 1623 bestond en normaliter links op de achtergrond zichtbaar zou moeten zijn, ontbreekt. Op de huidige kadasterkaart wordt het landgoed nog altijd afgebeeld in zijn primitieve vorm, met name een successie van drie eilandjes, van noord naar zuid: een bijna vierkant eiland van 20 are, een rond eilandje van 3,5 are en een trapezium van 9 are. Deze ietwat raadselachtige configuratie vinden we al terug op de vroegste afbeelding, de Ferrariskaart (1771-1775), en was minstens nog tot in 1930 op het terrein herkenbaar. De oudste moderne kadasterkaart, niet gedateerd maar vermoedelijk opgemaakt vóór 1815, toont eveneens de drie eilandjes, die door houten bruggen verbonden worden. Op de definitieve versie van de kadasterkaart, opgemaakt door landmeter J.A. Hisette in de jaren 1820, worden de bruggen niet meer afgebeeld.

Het kadaster registreerde een eerste verbouwing in 1884, onder het eigenaarschap van Emile Verlinden uit Mechelen, die Diependael als jachtpaviljoen gebruikte. Daarbij werd het kasteel een beetje vergroot en het koetshuis tot één travee herleid. Verlinden breidde de tuinbouwactiviteit ook uit tot buiten de ringgracht, met name het driehoekige perceel langs de Tervuursesteenweg, dat als 'lusthof ' (76 are) werd aangelegd. Eén van de volgende eigenaars, een zekere Edgard Fox, gaf het kasteel in 1891 zijn huidige uitzicht: een complexe, witgepleisterde vorm met diverse uitbouwen, twee bouwlagen met nog een dakverdieping onder een convex geknikt zadeldak. Volgens de legger ging het om een "reconstruction totale" met bijna een verdubbeling van het kadastrale inkomen tot gevolg. Fox liet op het lusthofperceel langs de steenweg ook een serre bouwen.

In de daaropvolgende jaren veranderde Diependael ettelijke malen van eigenaar. Van 1913 tot 1934 was het eigendom van de Brusselse industrieel Jules Wilmart, die ook het aanpalende Ter Borgt bezat.