Het huis Zuilenstein was al eerder ten onder gegaan. Het werd een tijdlang bewoond door Karel Reinoud Adelbert van Aldenburg Bentinck, de familietak, die op kasteel Middachten was gevestigd. Na diens overlijden kwamen er verschillende andere huurders. In 1945 werd het huis door een bombardement verwoest.