Logično in tudi nam razumljivo je, da so Herbersteini, povsod znani in uspešni vojščaki, kupili tako odlično postojanko. Leta 1290 je dvonadstropni palacij na vrhu zadnjega, tretjega krna tik nad okljukom Bistrice, kupil Hartberški od Herwiga iz Žabje vasi, podanika sosednjih Stubenberških gospodov. To je tudi najstarejša listina družine Herberstein, kakor se je poimenoval, ko je kupil utrdbo.