A biatorbágyi Szily-kastély építéstörténetéhez kapcsolódó dokumentumok az 1600-as évek elejére nyúlnak vissza, mikor is a Királyi Könyvek tanúsága szerint a kastély területe és a hozzá kapcsolódó birtokrészek a Fekete család kezén voltak. Mivel a család fiúágon kihalt, 1616-ban a birtokjog az Illés családra szállt.
1627-ben hügyei Farkas (II.) Pál Eszterházy Miklóstól nádori adományt kapott Bia és Torbágy felére. Az akkori adományterület 1627–1775-ig volt fiúágon a hügyei Farkas család kezén. A mai kastélyépület magja, az „U”-alakú épület középső része, ebben az időszakban épült. Mivel a család nem lakott a birtokon, 1689-ben megállapodtak Hochwart Mihály budai harmincadossal, hogy 18 esztendőre bérbe veheti a területet, és ott „négy száz Foréntig jó pénzül épületet tehessen”. Valószínűleg ekkor kezdődött el a mai kastély elődjének vagy egy részének építése.
A Farkas család 1720-ban döntött úgy, hogy Biára költözik, a hétgyerekes család számára a meglévő épület már szűkössé vált. Az épület egy kisebb kúriává bővül. 1749–1769 között hügyei Farkas János a kúriát tovább bővíti, két új helyiséggel, egy nappalival, és egy hálószobával. Farkas Terézia házasságot kötött nagyszigeti Szily Józseffel 1770 szeptemberében. A várható vendégsereg számára a kúria már szűkösnek bizonyult. Egy rövid U szárú, kiskastéllyá bővült, építészeti igényességét a kilenc oszlopra épített ív-pillérsoros tornác reprezentálta.
1775-ben Farkas Antal a biai birtokrészét eladta Szily Józsefnek, és így „került” a kastély és a birtok a Szily család kezére. Szily József alispáni beiktatása nagy létszámú vendégsereg megjelenésével járt, így a kastély újabb bővítése vált szükségessé. Ekkor nyerte el az épület a mainak megfelelő méretét. Felesége 1779-es halála után 1781-ben házasságot kötött lukafalvi Zarka Katalinnal. Első házasságából négy gyermeke, József, Antal, Karolina és János, második házasságából Mária nevű lánya született. Halála után végül Szily Karolina, özv. Fáy Barnabásné (erre utal a Fáy-kastély elnevezés), megvásárolta Jánostól és gyermekeitől a rájuk eső részt, és ismét egy kézbe került a birtok.
1852-ben a birtokot Sándor Móric vásárolta meg, és a Bajna–Biai uradalom központjaként működtette a Vladár család vezetésével. Sándor–Metternich Klementina hercegnő vette át később a birtokot. (Ekkoriban többször járt a birtokon a Szily család másik ágának leszármazottja, Kálmán, az MTA egykori főtitkára.) A területet a 30-as években a zsidótörvények miatti kisajátításáig az Elek család birtokolta. Az 1950-es években gazdaképző iskolává alakították át.
A mezőgazdasági szakiskola elköltözése után, a 2000-es évek elején a kastély üresen állt. Műemléki felmérését és a hasznosítási javaslatot Bugár-Mészáros Károly és B.Boldizsár Brigitta készítette 2003-ban. 2010-ben a kastéylt felújították és általános iskola működik benne.