I lavori di costruzione, che iniziarono nella primavera del 1578, furono affidati all’architetto brissinese Matthias Parlati. Nel 1577 questi elaborò il progetto su incarico di Cristoforo Madruzzo e lo stesso anno fu procurato di gran fretta il materiale da costruzione. Il legname proveniva dalla foresta di Velturno, la calce fu acquistata a Funes, il trasporto delle pietre e della sabbia fino al luogo della costruzione fu fornito come servizio di corvée. Tra i carrettieri chiamati al lavoro vi era anche il proprietario del vicino maso Teutenhofer. I mattoni che servivano per le volte furono acquistati presso l’Ospedale Maggiore di Bressanone e la fornace di Novacella. Il progetto della residenza sfugge a qualsiasi rigorosa regolarità. L’angolo nord-est, ad esempio, è leggermente deformato verso nord o per la presenza di tratti di mura più antichi o per orientare leggermente verso ovest la finestra presente a nord-est. Al pian terreno l’ingresso centrale conduce al vano scala; si tratta dell’ingresso riservato ai signori che porta direttamente alla cappella fatta arredare sotto il cardinale Andrea d’Austria. Il grande arco a tutto sesto situato a est si apre in un atrio dal quale si  accede a dei locali di servizio che erano destinati al cocchiere (oggi vi si trovano la cassa, le toilette e una sala per mostre). Dal cortile un passaggio portava direttamente alla scuderia che era situata nell’edificio di servizio a nord. Ad eccezione della cappella, le stanze situate al pian terreno servivano esclusivamente da magazzini. Nel 1578 i lavori di costruzione proseguirono al primo piano, nell’estate del 1579 furono posati i soffitti a travi del secondo piano e sopra questi fu aggiunta la capriata. Questo lavoro fu eseguito dal falegname Hans Müller di Albes che ricevette grandi apprezzamenti per il suo operato tanto che dopo la sua morte, il 1° aprile 1581, fu solennemente seppellito nella Chiesa della Madonna di Bressanone. Ancora oggi si può ammirare un epitaffio di legno in suo onore dipinto da Kaspar Greiter (Museo Diocesano di Bressanone). I gradini della scala sono realizzati con il granito ricavato da Snodres, una frazione del comune di Velturno.

Dopo aver realizzato la struttura grezza, Parlati si dedicò alla costruzione delle mura di cinta. Presso la porta d’ingresso superiore, ovvero quella che conduce al cortile, fu apposto lo stemma del principe vescovo, un lavoro eseguito dallo scalpellino Silvester Huber che in quegli anni si trovava in Val Pusteria e nel 1579 aveva realizzato un altare di pietra per Villa Santa Caterina presso Brunico su commissione del principe vescovo Spaur. L’iscrizione sulla pietra ricorda il committente:

IOANNES THOMAS EX BARONIBVS A / SPAVR EP(ISCOP)VS BRIXIN(ENSIS) DOMVM HANC VNA / CV(M) MOENIBVS A FVNDAMENTIS ERE / XIT ET ORNAVIT AN(N)O D(OMI)NI MDLXXX.

Da Trento proveniva il camino di marmo posto nella sala al centro del secondo piano e realizzato nel 1581 da Giandomenico Carneri, uno degli scultori più richiesti di fine XVI secolo a Trento. Nella sua bottega furono eseguite diverse opere, tra cui nel 1573 la lapide per la famiglia Mirana posta nella Chiesa di Santa Maria Maggiore di Trento. Per la Hofburg di Bressanone creò un altro camino su cui è riportato lo stemma degli Spaur. I camini furono realizzati nel 1583 dal capomastro Zuan Vesaschino.