Hoewel er nu een eind was gekomen aan de twisten over de eigendom van het huis Amerongen bleef het niet gespaard voor oorlogsgeweld. In 1584 veroorzaakten oorlogshandelingen veel schade aan het huis, maar die was nog te herstellen. Maar nadat de Fransen het in 1673 hadden bezet en geplunderd was geen herstel meer mogelijk; het huis was totaal uitgebrand. De toenmalige eigenaren hebben toen het nu nog bestaande huis doen bouwen. Deze bouw vond plaats tussen 1674 en 1680, voornamelijk onder leiding van de vrouwe van Amerongen, Margaretha Turnor, echtgenote van Godard Adriaan van Reede, welke laatste dikwijls op diplomatieke missies in het buitenland vertoefde. In haar brieven hield zij haar man op de hoogte van de vorderingen en vroeg hem om raad.