Der Abzug des Fürsten und aller zentralen Verwaltungs- und Hofstellen um 1420 beließ Tirlos nur mehr das Amt des Burggrafen, seit 1460 in Personalunion mit dem Amt des Landeshauptmannes an der Etsch. Ihm unterstehen das Adelsgericht zu Bozen und die Führung des militärischen Aufgebots im südichen Landesteil.
Um 1640 wird eine Initiative ergriffen. Der Unterhauptmann Balthasar Wohlgeschaffen hatte ein "memorial" unterbreitet und festgestellt, daß der Aufenthalt lebensgefährlich sei. So seien jüngst wieder im Sturmwind die Dächer zerstört worden.
Ein etwa 25 Jahre später erstelltes Gutachten durch den Hofsekretär Maximilian von Ingram gibt ein trostloses Bild von der damals erfolgten Zerstörung: Grumpp habe den halben Teil des Schlosses mit den fürstlichen Zimmern und schönen Kellern abwerfen lassen, obwohl die Fundamente jetzt noch gut und fest seien... Die habe schon zum Zeitpunkt der Arbeiten Erstaunen ausgelöst. Ebenso unverständlich schien Ingram, daß man den Zubau, wo man durch das Tor gehe, habe abreißen lassen, obwohl gar keine Agsturzgefahr bestehen könne. Im Süden sei der hinausgestürtzte Südwestteil geschlossen und seien außen die (heute noch vorhandenen) Verstärkungsdienste hochgezogen worden, aber zu wenig weit. Gumpp habe mehr auf den Wein denn auf die Arbeit geachtet und das Schloß mehr geschädigt als verbessert. Und der jetzige Unterhauptmann Weinberger sei "ain gueter herr, welicher alles hatt hergehen sehen wie es gangen".