De geschiedenis van het kasteel Paddenpoel (ook wel Poddikenpoel genoemd) is nauw verbonden met die van de Burcht van Leiden. De Burcht van Leiden was eigendom van de graaf van Holland, die deze in leen gaf aan een burggraaf. Van 1360 tot 1391 had Dirk van Wassenaar als burggraaf de Burcht van Leiden in leen. Dat betekende echter niet dat hij ook daadwerkelijk in Leiden vertoefde. Vast staat dat de burggraaf eind veertiende eeuw verhuisde naar zijn kasteel Paddenpoel. Na zijn dood volgde zijn zoon Filips van Wassenaar hem op in deze functie.
Deze Filips van Wassenaar werd in 1392 beschuldigd van de moord op Aleid van Poelgeest en haar metgezel Willem Cusers. Dit paar was goed bevriend met de graaf van Holland, Albrecht van Beieren. Graaf Albrecht liet in reactie op de moord beslag leggen op het burggrafelijke bezit en gaf bevel de huizen van de “moordenaars” plat te branden. Het is twijfelachtig of de burggraaf wel iets met de moord te maken heeft gehad, ook politieke motieven kunnen een grote rol hebben gespeeld. Ten tijde van de moord was dit deel van Nederland namelijk verscheurd door de Hoekse en Kabeljauwse twisten. Het lot van kasteel Paddenpoel was hoe dan ook bezegeld en het oordeel werd op 12 november 1393 voltrokken: het eerste burggrafelijke kasteel werd volledig verwoest.
Opgravingen bij bouw Flanorpad
Bij het inheien van de betonpalen voor vier Flanorflats stuitten de bouwers op zwaar middeleeuws muurwerk, dat door de afdeling Bouw- en Woningtoezicht van de Gemeentewerken als zodanig werd herkend. Dit was in 1966 de aanleiding voor nader onderzoek. Hoewel de ingeschakelde onderzoekers in eerste instantie te maken dachten te hebben met fundamenten van het tussen 1428 en 1431 gebouwde klooster Mariënpoel, stootte men onverwachts op de fundamenten van een kasteelcomplex.
De onderzoekers vonden een hoektoren en een toegangspoort en tevens een brede binnengracht. Aan de buitenzijde van de gracht lag een grote voorburcht, omgeven door nog een gracht en verdedigingsmuur. Over de buitenste gracht bevond zich een toegangsbrug op twee stenen pijlers naar de burchtpoort. De toegang van buitenaf tot deze voorburcht zelf lag tussen twee ronde torens, terwijl de woon- en dienstgebouwen vooral aan een der zijden lijken te hebben gelegen. In 1927 was bij de bouw van de villa van prof. dr. Eijsinga een deel van dit gebouwencomplex opgegraven en in kaart gebracht. Steenomvang, vondstmateriaal van de burcht en grote delen van de voorburcht toonden aan dat de archeologen delen van het tweede kasteel Paddenpoel hadden opgegraven.