Na februari 1945 lag de ruïne er troosteloos bij. Heel Afferden lag in puin, dus men kwam, begrijpelijk, graag stenen weghalen van vooral het voorhuis (dat pas van 1911 was, dus geen oude bakstenen). Buurman Roovers van kasteel Heijen kwam later ook, met permissie, oude stenen halen om de schade op Heijen te herstellen.
Er kwam enige vergoeding voor oorlogsschade, maar die is geheel besteed aan de wederopbouw van de pachtboerderijen. De kasteelruïne werd als hopeloos gezien. Door brand was alles ingezakt tot op het dak van de kelder, voor zover niet voltreffers – vooral aan de oostzijde – alles hadden verwoest. Wat zou de zin zijn geweest, in die tijd van herstel van het zwaar getroffen Nederland, van restauratie van een zo zwaar verwoest kasteel op een afgelegen plek.

Er werd gezocht naar bommen en granaten door de opruimingsdienst voor explosieven, en veel werd verwijderd. Begin jaren zeventig werd ook de hele buitengracht voorzichtig uitgebaggerd, waarbij ook veel explosieven werden gevonden. Daarna werd de gracht tijdelijk een soort vijver voor een visvereniging.

Zo vergingen de overblijfselen steeds verder. Overwoekering door planten en bomen (wel heel romantisch!) en gebruik van het terrein om er maïs op te verbouwen als fazantenvoer. Bij het ploegen door Harrie de Best, een der boswachters, bleef overigens, jaren later, de ploeg haken op een stuk metaal…een bom die door het ploegen naar boven was gekomen. Liep gelukkig goed af.
Rond de toren werd nog wel een versterkende band van hout en ijzer aangelegd, omdat het in elkaar dreigde te storten. Eens per jaar hielden de Afferdenaren een “Roofridderfeest” op het terrein. Dit hoewel er natuurlijk nooit roofridders op het kasteel hebben gewoond: rond 1400 - toen met de bouw van Bleijenbeek werd begonnen - bestonden ze al lang niet meer, die ridders.
Rudolf J. Jurgens (geb. 1875), de kasteelheer sinds 1937, wilde niet dat het landgoed na zijn dood werd opgesplitst onder zijn erfgenamen. Hij bracht het in 1947 onder in een particuliere stichting van de familie Jurgens, de Hollyden Stichting, genoemd naar zijn villa in Nijmegen. Hij werd voorzitter van het bestuur. Hij stierf in 1954. Zijn zoon, Rudolf G. Jurgens te Wassenaar (geb. 1903) volgde hem op als voorzitter van de stichting . Zijn aandacht ging uit naar beheer van het landgoed van 625 ha. De ruïne kreeg weinig aandacht.
Toen Rudolf G. stierf in 1987 kreeg zijn zoon Wilfried Jurgens (geb. 1931), samen met zijn neef Leon Velge, de opdracht om het landgoed te verkopen. In 1994 nam aldus de afdeling Vastgoed van de Levensverzekeringmaatschappij a.s.r. het landgoed over.