Slot Ilpenstein is in 1622 gebouwd door Volkert Overlander, burgemeester van Amsterdam, maar ook heer van Purmerland en Ilpendam. De bekendste bewoner van Ilpenstein was Frans Banning Cocq. In 1872 stierf de laatste bewoonster, Christina Elisabeth de Graeff, en werd het kasteel verkocht en gesloopt.