Der Bauplan und die Bauausführung sind dem Brixner Baumeister Matthias Parlati verdankt. Parlati arbeitete im Auftrag Christophs von Madruzzo noch 1577 den Plan aus, im selben Jahr wurde eiligst die Beschaffung des Baumaterials betrieben. Das Bauholz kam aus dem Pflegwald von Feldthurns, Kalk wurde in Villnöss erworben, in Robotschichten wurden Steine und Sand zum Bauplatz gebracht. Zu den gefragten Fuhrleuten zählte der Inhaber des Teutenhofers nahe dem zu errichtenden Schloss. Die für die Gewölbeeinzüge benötigten Bauziegel kaufte man vom Oberen Spital in Brixen oder aus der Neustifter Ziegelei. Mit dem Bau selbst wurde im Frühjahr 1578 begonnen.

Der Plan selbst entbehrt jeder strengen Regelmäßigkeit. So ist die Nordostecke leicht nach Norden verzogen, entweder aus Rücksicht älterer Mauerzüge, oder um das nordöstliche Fenster leicht gegen Westen anzuschrägen. Im Erdgeschoss bietet der zentrale Eingang den Zugang zum Treppenhaus, es ist der eigentliche Eingang der Herrschaft und führt direkt zur der unter Kardinal Andreas von Österreich eingerichteten Kapelle. Der östliche große Rundbogen führt in eine offene Vorhalle, von der aus Nebenräume zu betreten sind, die dem Kutscher als Aufenthaltsräume dienten (heute die Kasse, die Toiletten und ein Ausstellungsraum). Vom Hof aus gab es eine direkte Durchfahrt zum Pferdestall, der im nördlichen Nebengebäude untergebracht war. Außer der Kapelle hatte die erdgeschossigen Räume durchaus Speicherfunktionen auszuüben. 1578 gedieh der Bau bis zum ersten Stock, im Sommer 1579 wurden die Balkendecken des zweiten Geschosses gelegt und der Dachstuhl aufgesetzt. Diese Arbeit besorgte der Zimmermann Hans Müller aus Albeins. Die hohe Wertschätzung, die Zimmermann Müller entgegengebracht wurde, zeigt sich nicht zuletzt im Umstand, dass er nach seinem Tod am 1. April 1581 in der Brixner Frauenkirche beigesetzt wurde. Ein wohl von Maler Kaspar Greiter bemaltes Holzepitaph erhalten (Brixen, Diözesanmuseum). Die Treppensteine bestehen aus Granit, der in Schnauders, einer Fraktion der Gemeinde Feldthurns, gebrochen wurde.

Nach der Fertigstellung des Rohbaus kümmerte sich Parlati um die Errichtung der Umfassungsmauern. Am oberen Tor, gemeint ist das Zugangstor in den Hof, wurde der Wappenstein des Fürstbischofs eingemauert, eine Arbeit von Steinmetz Silvester Huber, der sich in diesen Jahren im Pustertal aufhielt und im Auftrag von Fürstbischof Spaur 1579 einen Steinaltar für Aufhofen bei Bruneck geschaffen hatte. Die Inschrift am Stein verweist auf den Auftraggeber:

IOANNES THOMAS EX BARONIBVS A / SPAVR EP(ISCOP)VS BRIXIN(ENSIS) DOMVM HANC VNA / CV(M) MOENIBVS A FVNDAMENTIS ERE/XIT ET ORNAVIT AN(N)O D(OMI)NI MDLXXX.

Aus Trient kam auch der von Steinmetz Giandomenico Carneri 1581 geschaffene Marmorkamin im Saal des zweiten Stockes. Carneri gehört zu den gefragtesten Bildhauern im ausgehenden 16. Jahrhundert in Trient. Dort entstanden in seiner Werkstatt mehrere Arbeiten, darunter 1573 der Grabstein für die Familie Mirana in Santa Maria Maggiore in Trient. Für die Brixner Hofburg schuf er einen weiteren Kamin, der das Wappen Spaurs trägt. Die Kamine führte 1583 Maurermeister Zuan Vesaschino hoch.