Der Baufortschritt war dergestalt, das mit Beginn 1580 an die wandgebundene Ausstattung gedacht werden konnte. Hans Spineider aus Meran war im südlichen Tirol der angesehenste Kunsttischler. Auf Ruf des Fürstbischofs kam er nach Velthurns, um die Situation zu studieren und den Vertrag für die Täfelungen zu unterzeichnen. Die verwendeten Hölzer kamen aus den Wäldern von Lüsen, Vahrn und Gröden. Spineider hatte bis Ende 1580 die Täfelungen im ersten Stock vollendet, für die Kassettendecke im Saal schuf der Drechsler Georg Oberwanger die dann von Georg Trabl vergoldeten Rosetten. Zimmermann Wolf verlegte die Riemenböden. Das Ausbrechen der beiden Okuli zur Beleuchtung des Treppenhauses ordnete Fürstbischof Spaur persönlich an.

In den Quellen finden sich zahlreiche Namen der am Bau beteiligten Handwerker: Schmied Oswald Giggenberger aus Brixen schuf die schützenden Fenstergitter im Erdgeschoß, Tischler Nikolaus Topf die Fenstertaschen und die Türstöcke, Zimmermann Wolf aus Feldthurns hatte das Gerüstholz aufgestellt und hatte das Bauholz anzuliefern. Spängler Hans Zendl aus Brixen fertigte die beiden Kupferkugeln samt Fähnchen für den Dachschmuck, die Bemalung besorgte David Solbach.
Der marmorne Wappenstein am Tor zum Innenhof mit dem heraldischen Emblem von Fürstbischof Spaur wurde in Trient hergestellt.
Maler David Solbach trug 1580 auf der verputzten und bemalten Fassade zwei Sonnenuhren und das Wappen des Auftraggebers auf. Von den Sonnenuhren ist nur mehr jene an der Südfassade gut zu sehen, jene an der Ostseite ist stark verblasst. Meister Albrecht schuf die Fassadendekoration mit dem Beschlagwerk an den Fensterrahmen. Für die insgesamt 175 Fenster des Baues bestellte Spaur 150 Glastondi in Augsburg, als Vermittlerin trat eine Verwandte des Fürstbischofs, Veronika Freiin von Spaur, geborene Fugger, auf, den Transport von Augsburg bis Innsbruck hatte dann der Sterzinger Unternehmer Michael Geizkofler übernommen. Die Namen der Glaser erfahren wir aus den Arbeiten im zweiten Stock, wo Stefan Pfeifer und Sebastian Atteler die Tondi einsetzten.

Kachler Michael Prugger aus Brixen schuf zwei Kachelöfen für den ersten Stock, jenen in der großen und kleinen Stube. Überliefert sind die Namen der Schmiede und Schlosser: Gregor Schinnagl schuf die Eisengitter, Schlosser Gallus Erschbaumer arbeitete die Eisenbänder an den Türen und Wandkästchen. Woher kamen die Hölzer zur Täfelung? Zirbelkiefer wurde in Schalders geschlagen, Ölbaumholz in Rovereto, Fladenholz bezog man um 160 Gulden in Augsburg, Kirch- und Nussholz aus Schnauders, Fichte aus Lüsen. Im zweiten Stock wurde die Holzwahl noch durch Linde und Birne ergänzt.

Fraglich bleibt die Form der ursprünglichen Dacheindeckung. 1980 wurde das Gebäude mit lärchenen Holzschindeln eingedeckt. Diese betonen den durchaus ruralen Charakter der Anlage.
Die Ausmalung der Räume im ersten Stock wurde 1582 bis 1583 von den Malern Michele und Orazio aus Brescia, Mitarbeiter des Pietro Maria Bagnatore (um 1548-1625), bestritten. Für die Malereien im Piano nobile beauftragte der Fürstbischof 1583 bis 1584 Bagnatore selbst. Bagnatore sollte später auch in Trient arbeiten. Dort entstanden die Malereien in der Kapelle des Palazzo Fugger, die von Georg Fugger und dessen Ehefrau Helena von Madrutz, einer Schwester des Trienter Fürstbischofs Carl Gaudenz, in Auftrag gegeben wurden. Verloren ist das für die Kapelle gemalte Altarblatt mit dem Martyrium der Nonsberger Märtyrer.

Die Rosetten an den Kassettendecken im zweiten Stock schnitzte in der Hauptsache Thomas Parth, Sohn des Bildschnitzers Michael Parth in Bruneck, auch vergoldete er jene von Oberwanger gedrechselten Rosetten. Teilweise nach gezeichneten Vorlagen von Maler Solbach und Maler Bagnatore arbeiteten die Tischler Spineider und Hans Rumpfer an der Täfelung und den Türblättern des Fürstenzimmers, freilich unter Beihilfe von zahlreichen Gesellen und Lehrlingen. Die Türbekrönungen wurden erst nach der Ausführung der Wandmalereien aufgesetzt. Den Ofenfuß mit den vier rotmarmornen sitzenden Löwen im Fürstenzimmer fertigte der Steinmetz Jakob del Gallo aus Cles am Nonsberg, die Kacheln selbst der Bozner Hafner Paul Pidensdorfer, die Wappen entstanden nach Vorlagen von Georg Trabl, der auch die Blaumalerei ausführte.