In het jaar 1280 vormde de poort aan het Buitenhof de hoofdpoort tot het slot van de Graven van Holland, nu bekend als het Binnenhof.
In 1428 werd deze Voorpoort van den Hove ook een gevangenis. Wanbetalers werden er opgesloten en verdachte misdadigers wachtten er op hun proces in de donkere en koude gajolen. Vierhonderd jaar lang was het een gevangenis. Sinds 1882 is de Gevangenpoort een museum.