Velturno – il cui nome “Feldthurns” di radice indogermanica designa un’area attraversata da un ruscello serpeggiante – un tempo era situato nella contea della Valle Norica (Val d’Isarco). All’inizio dell’XI secolo divenne proprietà dei vescovi di Sabiona-Bressanone, che già dalla fine del X secolo risiedevano stabilmente a Bressanone (Prichsna). Nel XIII secolo Velturno formava una propria giurisdizione sulla quale i conti del Tirolo esercitavano la propria sovranità nella loro funzione di balivi della diocesi di Bressanone. Nel 1497, tuttavia, il cardinale Melchior von Meckau, vescovo di Bressanone dal 1488, costantemente impegnato ad ampliare i propri possedimenti, scambiò la proprietà di Windisch Matrei con quella di Velturno e annesse così al Principato di Bressanone un territorio che per la sua vicinanza alla città era molto meglio sfruttabile.

Sul terreno su cui poi sorse Castel Velturno originariamente si trovava il maso Kohlgrub comprensivo di un’abitazione e di fabbricati di servizio; questo apparteneva a Sebastian Teutenhauser, proprietario del vicino maso (Teutenhofer) che ancora oggi confina con la residenza sul lato sud. Il 9 maggio 1577 la Camera Aulica di Bressanone acquistò questa proprietà rurale al prezzo di 1600 fiorini. Qui il principe vescovo Johann Thomas von Spaur progettava di costruire una residenza estiva.

Gli usi a cui fu destinato il palazzo non sono stati oggetto di una ricerca dettagliata. Sulla scia della secolarizzazione Velturno diventò proprietà di privati cittadini, mentre prima di allora era stato usato occasionalmente come residenza estiva dai vescovi di Bressanone o da altri membri dell’alto clero. Poiché l’edificio fu utilizzato poco e comunque sempre con grande cura, questo non fu sottoposto a ristrutturazioni e modifiche radicali. Il 14 maggio 1822 Anton von Goldegg acquistò il palazzo per 2.461 fiorini: 1.361 li pagò immediatamente, mentre 800 li depositò presso la vedova Regele e altri 300 presso Wegleiter a Chiusa. Come già menzionato nella premessa, Hugo, il figlio di quest’ultimo, cedette la proprietà nel 1875. In un suo ritratto, dipinto da Friedrich Wasmann, appare sullo sfondo Castel Velturno che nella cronaca di famiglia veniva chiamato “Ziernberg”. L’inventario del 1874 attesta la presenza di un mobilio modesto a testimonianza del fatto che anche i Goldegg utilizzarono Velturno solo come residenza estiva.