Het dorp Asten begint in velerlei opzichten als een grensnederzetting. Zo was het lange tijd gelegen aan de ontginningsgrens van de onherbergzame Peel, tevens de eeuwenoude afbakening tussen de hertogdommen Brabant en Gelre, of zoals tegenwoordig nog steeds, tussen de provincies Noord-Brabant en Limburg. Het zijn vooral missionarissen (Willibrord), monniken (Norbertijnen) en wereldlijke heren (Heren van Cuijck) die dit relatief lege gebied in de Middeleeuwen openleggen en ontwikkelen.
Het is in deze tijd (1399) dat t' Huys tot Asten voor het eerst opduikt in de annalen. Beginnend als agrarisch uitbatingscentrum of mansio wordt het al ras uitgebreid tot een heus kasteel bestaande uit een versterking, een woongedeelte en een hofstede. Terwijl de omgeving wordt geteisterd door misoogsten en plunderende legers, wordt rond 1600 het kasteel omgebouwd tot een edelmanswoning in Renaissance stijl, waarbij ook de voorburcht met karakteristieke toren zijn huidige vorm krijgt. Het is ook in deze tijdspanne dat een van de meest kleurrijke en beruchte kasteelheren, Bernard van Merode, zijn landgoed weet uit te breiden, niet in het minst geholpen door onteigeningen van door hem vervolgde en gemartelde tovenaars en heksen uit de omgeving.
Hoewel het kasteel rond 1680 nog wordt verfraaid door Everard van Doerne, raakt het in de achttiende eeuw in verval, vooral omdat het in bezit komt van vaak absente Hollandse regenten. Het statige edelmanshuis van weleer verwordt geleidelijk tot een verwaarloosd jacht- en zomerverblijf, slechts nu en dan verhuurd aan derden of bewoond door "kasteleins". Gelijktijdig met de voortschrijdende aantasting van de Heerlijke rechten, takelt het kasteel in de negentiende eeuw verder af.
Het afbraakproces wordt pas een halt toegeroepen door het eigenzinnige initiatief van baron Clemens van Hövell tot Westerflier. Zijn fantasievolle reconstructie van de oude noordvleugel wordt echter in 1944, na slechts enkele jaren van bewoning, weer in puin gelegd door een Duitse fosforgranaat. Enkele jaren na het overlijden van baron Clemens jr. in 1981, verkoopt de douairière het kasteel en komt het voor een groot deel in het beheer van de huidige Stichting.