Zuilenstein werd bij die gelegenheid verheven tot een hoge heerlijkheid. Omdat het daarvoor eigenlijk te klein was, werd Leersum eraan toegevoegd. In 1640 schonk Frederik Hendrik dit bezit aan zijn natuurlijke zoon Frederik, met de bepaling dat het nooit verkocht mocht worden en bij uitsterving van het geslacht Nassau-Zuylenstein moest terugvallen op een van zijn eigen nakomelingen. In 1830 was het zover: de laatste mannelijke Van Nassau-Zuylestein, Willem Hendrik, was in dat jaar overleden en had, in overeenstemming met de bepaling van Frederik Hendrik, Zuilenstein bij testament nagelaten aan George Godard Henry van Reede als betachterkleinzoon van Henriëtte van Nassau-Zuylenstein. Deze werd pas in 1842 meerderjarig en deed toen zijn intrede op Zuilenstein, maar hij overleed al een jaar later. Hij liet Zuilenstein na aan zijn zuster Elisabeth Maria van Reede, gehuwd met Frederick William Child Villiers, die in 1853 ook vrouwe van Amerongen zou worden. Deze leefde meestentijds in Engeland en overleed kinderloos in 1897. Zuilenstein vermaakte zij aan Godard van Aldenburg Bentinck, aan wie zij al in 1879 Amerongen had overgedragen. Hoewel de huizen Amerongen en Zuilenstein dus tussen 1879 en 1897 in verschillende handen waren, werd de administratie ook toen door dezelfde rentmeester gevoerd, zodat er in feite sinds het midden van de 19e eeuw een "landgoed Amerongen-Zuilenstein" bestond.