Feldthurns, der Name hat indogermanische Wurzeln und bezeichnet ein Gelände mit sich durchwindendem Bach, ehemals in der Grafschaft Norital (Eisacktal) gelegen, kam im frühen 11. Jahrhundert in den Besitz der Bischöfe von Säben-Brixen, die sich seit dem ausgehenden 10. Jahrhundert beständig in Brixen (Prichsna) aufhielten. Im 13. Jahrhundert formierte Feldthurns ein eigenes Gericht, worüber die Grafen von Tirol in ihrer Eigenschaft als Vögte des Brixner Gotteshauses den Hoheitsanspruch ausübten. Im Jahr 1497 tauschte jedoch der um Besitzarrondierung ständig bemühte Kardinal Melchior von Meckau, seit 1488 Bischof von Brixen, die Herrschaft Windisch Matrei gegen jene von Feldthurns und brachte so dem Fürstentum Brixen ein Territorium bei, das sich aufgrund der Nähe zur Stadt ungleich besser nutzen ließ.

Am Bauplatz von Schloss Velthurns befand sich zuvor der Kohlgrubhof mit Haus und Wirtschaftsgebäude. Diese lag im Besitz des Nachbarn Sebastian Teutenhauser. Der Hof des Teutenhauser (Teutenhofer) grenzt heute noch im Süden an das Schloss. Am 9. Mai 1577 erwarb die Brixner Hofkammer um die Summe vom 1.600 Gulden den bäuerlichen Besitz. Hier beabsichtigte Fürstbischof Johann Thomas von Spaur den Bau einer Sommerresidenz.

Am 14. Mai 1822 erwarb Anton von Goldegg das Schloss um insgesamt 2.461 Gulden, 1.361 Gulden bezahlte er gleich, 800 wurden bei Frau Regele hinterlegt, 300 bei Wegleiter in Klausen. Dessen Sohn Hugo stieß 1875 den Besitz wieder ab. An einem Porträt des Hugo von Goldegg, gemalt von Friedrich Wasmann, erscheint im Bildhintergrund Schloss Velthurns, es ist in der Familienchronik mit der alten Bezeichnung „Ziernberg“ benannt. Das Übergabeinventar von 1874 führt nur einen bescheidenen Möbelbestand an, aus dem sich schließen lässt, dass auch die Goldegger Velthurns nur als Sommersitz nutzten.