A topolyai Kray-kastély a város egyik legjelentősebb történelmi épülete, amely nemcsak az építészeti örökség része, hanem a Kray család történetének fontos emléke is. A késő barokk stílusban épült emeletes kastélyt báró Kray Pál, az osztrák császári hadsereg híres tábornoka építtette, aki a 18. század második felében vált ismertté katonai eredményei révén. A kastély alapkövét 1800. október 4-én tették le, és mindössze két év alatt elkészült, majd 1803 telén már be is bútorozva és lakottan állt. A korabeli leírások kiemelik az épület szépségét és eleganciáját, és úgy vélték, hogy Bécs bármelyik elővárosában is megállná a helyét.
A kastélyban a földszinten nyolc szoba és egy nagyobb terem kapott helyet, míg az emeleten hat szoba és egy kisebb kabinet szolgált a mindennapi élet és a vendéglátás céljaira. Az épület köré gazdasági épületek is épültek, amelyek a birtok működését támogatták, hiszen a kastély nemcsak lakóhelyként, hanem a Kray család birtokainak központjaként is szolgált.
A Kray család története messzire nyúlik vissza. A család a 17. században, a morvaországi Prerau városából telepedett le Magyarországon, a Szepes vármegyei Késmárk városában. A család egyik legkiemelkedőbb tagja Kray Pál (1735–1804), aki katonai pályafutását Bécsben kezdte, ahol matematikát tanult, majd a császári hadseregbe lépett be. Pályafutása során számos háborúban kitűnt, különösen a törökök és a francia forradalmi erők ellen vívott harcokban. 1789-ben elfoglalta Krajovát, amiért megkapta a Mária Terézia-rend lovagkeresztjét és a „krajovai” előnevet. Később altábornaggyá és táborszernaggyá lépett elő, majd a francia fronton és Itáliában vezette sikeresen az osztrák csapatokat.
Kray Pál karrierjének csúcsa a francia forradalmi háborúk idején volt, amikor számos csatában aratott győzelmet a franciák felett. A németországi és itáliai hadszíntereken elért sikereiért az osztrák udvar és a nemzetközi közvélemény is elismerte. Karrierjének végén, 1800-ban vásárolta meg a topolyai kamarabirtokot, ahol megépíttette a család későbbi központjaként szolgáló kastélyt. A kastély építése volt Pál utolsó nagy projektje, hiszen 1804-ben Pesten hunyt el, és a belvárosi templomban helyezték örök nyugalomra.
A Kray-család birtoklása alatt Topolya virágzó időszakot élt át. Az épület a család és a topolyai közösség számára egyaránt fontos szimbólummá vált. Azonban a kastély sorsa a történelem viharos időszakai során többször is megváltozott. Az 1848-49-es forradalom és szabadságharc idején a szerb csapatok betörtek Topolyára, és kifosztották a kastélyt, elrabolva a festményeket, bútorokat, és egyéb értékeket. A fosztogatás során az épület jelentős károkat szenvedett.
A család férfiágának kihalásával a birtok 1852-ben a Zichy család tulajdonába került. Az új tulajdonosok megpróbálták helyreállítani a kastélyt és folytatták a birtok működtetését, de az épület sorsa továbbra is bonyolult maradt. Az első világháború alatt a kastély az egyház tulajdonába került, és parókiaként használták. A második világháború végeztével a szovjet II. ukrán hadsereg főhadiszállásaként szolgált, majd az új jugoszláv kommunista hatalom államosította. Ezt követően különböző célokra használták, mint például bank, szövetkezet és Munkásegyetem.
A mai napig megmaradt Kray-kastély jelentősége nemcsak a család és Topolya történelmében rejlik, hanem a régió kulturális örökségének része is. Az épületben jelenleg Topolya Község Múzeuma, a Helytörténeti Levéltár és egy művészeti galéria található. A kastély őrzi a 18. és 19. századi építészet hangulatát, és emlékeztet arra az időszakra, amikor a Kray család, különösen Kray Pál, jelentős szerepet játszott a régió történetében.
