De eerste vermelding van het huis te Amerongen is uit 1286. De graaf van Holland verklaarde toen Diederik en Borre van Amerongen tot zijn leenmannen wegens het huis dat zij `doen timmeren' te Amerongen. Dit huis, dat wij moeten zien als een soort woontoren, lag aan het oosteinde van een tot de Domproosdij horende moerassige streek, die zich langs de Rijn uitstrekte van Doorn tot Amerongen. Het feit dat er langs de Rijn omstreeks 1234 met behulp van Holland een dijk aangelegd was van Schoonhoven tot Amerongen, kan voor de graaf een motief zijn geweest in dit Stichtse gebied een soort controlepost te vestigen. Dit Hollandse leen bestond echter alleen uit het huis met de omringende gracht en nog wat land aan de kant van de Rijn. De Voorburg viel daar niet onder, evenmin als de andere bezittingen in de omgeving van het huis. Met de heerlijkheid behoorden deze tot de bezittingen van de heren van Abcoude en Gaasbeek. Zij zouden door Jacob van Abcoude van Gaasbeek in 1440 worden verkocht aan de bisschop van Utrecht en in 1459, na Jacobs overlijden, aan het Sticht worden overgedragen. Sindsdien zouden al deze bezittingen als Gaasbeeks leen door de landsheer, resp. de Staten van Utrecht worden uitgegeven.