De Borre van Amerongens, zoals zij zich gingen noemen, bleven tot in de 15e eeuw eigenaar van het huis. De laatste was Bertha van Amerongen, echtgenote van Gerrit bastaard van Culemborch. In hun tijd werd het huis geplunderd, eerst door de Hoeken in 1420, daarna door de Geldersen in 1427. Het huis was nog wel te herstellen, maar geldnood dwong het echtpaar in 1434 tot verpanding van het huis aan Gijsbert van Nijenrode. Pas in 1468 loste Van Culemborch de pandsom in zodat hij weer over Amerongen kon beschikken. Twee jaar later verkocht hij de bezitting aan Willem van Zwieten, die haar 5 jaar later doorverkocht aan Gijsbrecht van Hemert. Vanaf dat ogenblik waren de problemen niet van de lucht. De Culemborchs bestreden de wettigheid van deze verkoop, daarin gesteund door hun vertegenwoordiger Balthasar van Wees die zijn intrek nam op het kasteel. Uiteindelijk wonnen de Van Hemerts deze strijd, maar toen begonnen leden van deze familie onderling te twisten. Hieraan kwam pas een eind toen alle partijen het eens werden over verkoop aan een buitenstaander. De koper werd Godard (Goert) van Reede van Saesveld, die huis en heerlijkheid Amerongen in 1557 verwierf. Van toen af bleven de Van Reedes ruim vier eeuwen onbetwist meester van het huis, de heerlijkheid en overige goederen en rechten.

De Borre van Amerongens, zoals zij zich gingen noemen, bleven tot in de 15e eeuw eigenaar van het huis. De laatste was Bertha van Amerongen, echtgenote van Gerrit bastaard van Culemborch. In hun tijd werd het huis geplunderd, eerst door de Hoeken in 1420, daarna door de Geldersen in 1427. Het huis was nog wel te herstellen, maar geldnood dwong het echtpaar in 1434 tot verpanding van het huis aan Gijsbert van Nijenrode. Pas in 1468 loste Van Culemborch de pandsom in zodat hij weer over Amerongen kon beschikken. Twee jaar later verkocht hij de bezitting aan Willem van Zwieten, die haar 5 jaar later doorverkocht aan Gijsbrecht van Hemert. Vanaf dat ogenblik waren de problemen niet van de lucht. De Culemborchs bestreden de wettigheid van deze verkoop, daarin gesteund door hun vertegenwoordiger Balthasar van Wees die zijn intrek nam op het kasteel. Uiteindelijk wonnen de Van Hemerts deze strijd, maar toen begonnen leden van deze familie onderling te twisten. Hieraan kwam pas een eind toen alle partijen het eens werden over verkoop aan een buitenstaander. De koper werd Godard (Goert) van Reede van Saesveld, die huis en heerlijkheid Amerongen in 1557 verwierf. Van toen af bleven de Van Reedes ruim vier eeuwen onbetwist meester van het huis, de heerlijkheid en overige goederen en rechten.