1590-ben Báthory Zsigmond erdélyi fejedelem a Tisza családnak ajándékozta Ágya és Kisjenő falvakat hűségük jutalmául, később azonban a törökök elvették tőlük. Így a Tisza-birtokok Rinaldo herceg tulajdonává váltak. Tisza visszakövetelte a családi földet. Először elutasították kérelmét, viszont amikor III. Ferenc elpártolt a Habsburgoktól, Mária Terézia 1742-ben elkoboztatta birtokait. 1748-ban Tisza újra beadta kérelmét, majd 1759-ben Lehoczky Dáviddal megnyerte a pert. De nem a régi családi tulajdont kapta vissza, hanem más felajánlott falvakat és pusztákat, többek között Gesztet. 1761 elején megkezdték a birtokközpont kialakítását. Az épület megépítése után - több kisebb átalakítás kivételével - nyugalmas évek következtek. 1925-ben a Tisza örökösök 4000 katasztrális holdját a Geszti Bérgazdaság Rt. és Fried Ignác magánvállalkozó bérelte. 1935-ben a terület egy részét V. István özvegye és második férje bérelte. 1938-ban a kastélyt Tisza (V.) István fia, Kálmán-Lajos lakta, aki az Egyesült Államokba költözött, amkikor megnősült. 1945-ben az államosított kastély a Debreceni Egyetem fennhatósága alá került. 1949-ben a Zsadányi Állami Gazdaság .

1769-ben, a család beköltözésekor még nem volt földesúri lakház, és a mai kastély magját képező kúria sem állt. A kúriát Tisza csak akkor tudta felépíteni, mikor szerzett két taxás telket Geszten. Egyiken felépíttette a kúriát, később a másikon az angolkert lett. A 18. század második felében vett még egy beltelket a faluban, később ezen volt a tiszttartói ház. 1772-ben a kúria barokk stílusban épült fel, amit később többször is átalakítottak. Az épület már a 18. század végén is L alaprajzú volt, mert mindkét végén a korra jellemző boltozatos helyiségek találhatók. Mindkét szárny alatt pince van, ezekből megállapítható, hogy a nyugati szárny régebbi. Lehetséges, hogy a nyugati és a keleti szárny északi vége eredetileg önálló épület volt, amelyet utóbb kötöttek össze. 1772-ben II. László örökölte a birtokot. A 18. század vége felé a kastély fő szárnyának középső traktusa, a kocsiáthajtó fölé négytengelyes, klasszicizáló késő barokk stílusú pavilont építtetett. A pavilon tervezője Czigler Antal. 1831-ben I. Lajos örökölte az uradalmat. Földbirtokossága alatt lakott és működött tiszttartóként a kastélyban Dipold Antal honvédtiszt, akit báró Haynau 18 év várfogságra ítélt.

1851-52-ben lakott itt (Tisza Domokos nevelőjeként) Arany János költő. Arany a kastély pavilonjának egyik szobácskájában lakott, de néha a kerti lakban aludt. 1856-ban Tisza (I.) Lajos elhunyt. 4 évvel később elkészült a kastély keletei szárnyának külső terasza, amelyet áttört, fonatos kőmellvéd szegélyez (felette egykor függesztett tető volt). A terasz állítólag egy Degenfeld-kastély teraszának mintájára készült. I. Kálmán, ekkor lett a birtok tulajdonosa. Az 1856-66-os második katonai felmérés térképén jól kivehető a kúria L alakú tömbje, mögötte a gazdasági épületek, mögöttük pedig a park. Kálmán birtokossága idején a keleti szárny és a konyhaépület között folyosó épült az ételek fedett helyen történő szállítása végett. A kastély eredetileg zsindelyes tetejét kicserélték, és a pavilon kivételével - aminek manzárdos tetőszerkezetét bádoggal fedték - palával burkolták. A kerítés építésére 1890 körül került sor.

1902-ben gr. Tisza (IV.) Istváné lett a geszti kastély és azt csak kis mértékben alakíttatta át. Az épület belső udvarán a szárnyak találkozásánál álló teraszt minden bizonnyal a gróf emeltette. Ekkor került sor a kastély korszerűsítére: bevezették az áramot (az épület mellett egy aggregátorral működő villanytelepet létesítettek), elhelyeztek a padlástérben egy Knuth Károly által tervezett új hideg-meleg vizes tartályt és bekötötték a telefonvonalat (hívószám: Mezőgyán 3.). 1938-ban a kastélyt (V.) István idősebb fia, Kálmán-Lajos lakta. Az ő ideje alatt cserélték ki az ajtókat és az ablakokat, amiket Szabó József készített. Kálmán-Lajos néhány év múlva az Egyesült Államokba költözött. 1945 körül a kastély teljes berendezése megsemmisült. Az egykor Arany János által lakott kerti házat lebontották. 1949-ben általános iskolát és művelődési házat helyeztek el a kastélyban. Egy 1951-ben 24 helyiség volt az épületben. 1960-ban a községi könyvtárat is itt rendezték be.