Het kasteel heeft gestaan tussen de hervormde kerk en de Nieuwstraat. het was geheel omgracht en er behoorden stallen en koetshuizen bij. In 1543 wordt het kasteel door troepen van Karel V verwoest. Volgens een tekening uit 1656 lag tussen het kasteel en de dijk zelfs nog een huis en een hof. Een plattegrond uit 1722 laat zien dat het slot toen reeds met één punt in de Waaldijk stond. De rivier kwam steeds dichterbij, daardoor moest de dijk steeds teruggelegd woorden, op een Leidse tekening is te zien dat ten behoeve van de rijtuigen op de weg een stuk van de muur is weggehaald. het kasteel verviel meer en meer en dreigde in te storten.
In 1764 laat de toenmalige eigenaar J.D. Boellaard het hoofdgebouw volledig afbreken omdat eerder al, in 1690 door het verleggen van de dijk stukken verloren waren gegaan. Mr. M.J.Eyck koopt het compex in 1819 en liet de laatste resten slopen en bouwde op de voorburcht een huis, welke zijn zoon later weer afbrak. Na de tweede wereldoorlog zijn binnendijks nog resten van fundamenten weggegraven.
Op woensdag 16 oktober 1996 waren de werkgroepleden van de Historische Werkgroep "Stichting de Vier Heerlijkheden"" uitgenodigd om aanwezig te zijn bij de ontgraving van enkele muurrresten van het voormalige kasteel. Namens het Polderdistrict Groot Maas en Waal had Heidemij advies voor dit tweede onderzoek de deskundigheid van het ROB, het Rijksoudheidkundig Bodemonderzoek uit Amersfoort ingeschakeld om het graafwerk te coördineren. Begin mei van het jaar 1996 jaar werd door dijkverzwaringswerkzaamheden de hoek van het woongedeelte van het kasteel van Zuilichem al ontdekt. Uit de dijkhelling buitendijks staken plotseling enkele muurfragmenten, door oplettendheid en aktie van enkele dijkbewoners werd het graven stilgelegd en allerlei instanties gewaarschuwd. De restanten werden pas in oktober ontgraven, gefotografeerd en opgemeten door het R.O.B. De hoek van het kasteel verdween enige tijd later onder de nieuwe dijk.
(Verschillende foto's van de opgraving in de serie hieronder zijn afkomstig uit het fotoarchief van Trees Blom).
Omdat het kasteel door zijn bewoners - o.a. Constantijn Huygens- van grote cultuur-historische waarde is, zijn de resten van het kasteel in Zuilichem gevisualiseerd. Enkele meters boven de oorspronkelijke muurresten is het geheel nagebouwd. Door de A.N.W.B. is een informatiebord geplaatst en zijn er banken neergezet.
Tekst op het informatiepaneel van de ANWB bij de opgemetselde funderingen langs de Waaldijk in Zuilichem:
Hier stond eens kasteel Zuilichem. Al in de Romeinse en Karolingische tijd was er op deze plaats tolheffing op de Waal. Eerst stond er een verdedigbare toren (Donjon), later een hoofdgebouw en voorhof met torens en poort. In 1196 was Reynald van Nassau burggraaf van Zuylichem. Latere bewoners van de intussen gestichte "Dagelijkse Heerlijkheid Zuilichem" waren de geslachten van Herlaer en Pieck. De belangrijkste eigenaar van het kasteel was Constantijn Huygens (1596 – 1687), secretaris van o.a. stadhouder Frederik Hendrik, tevens bekend als dichter en musicus. Door zijn relaties met het Franse hof van Lodewijk X1V, wist hij verwoesting van het kasteel in het rampjaar 1672 te voorkomen. Rond 1690 werd de middeleeuwse dijk landinwaarts verplaatst, strak om het kasteel heen zodat er een stuk uit de muur moest worden gehakt om het verkeer door te laten. In 1764 is het hoofdgebouw afgebroken, de muurresten in de dijk liet men zitten. Bij de dijkverzwaring in 1996 is deze noordoostelijke hoek van het kasteel ontdekt. Het oude muurwerk zit nu weer verborgen in de nieuwe dijk een replica van de muur (met vensterbanken) ziet u thans op dezelfde plaats aangegeven. In de wei hiernaast liggen nog de fundamenten van het voorhof.