Leta 1873 ga je namreč, vdova Herberstein, izdražila proti ptujskemu županu, ki se je namenil iz gradu narediti kamnolom. Herbersteini so grad rešili propada, ga temeljito obnovili in v njem uredili dragocene zbirke. Vanj so prenesli tapiserije in arhiv iz gradu, uredili zbirko rimskih in staroslovenskih najdb, flamske in francoske gobeline, staro pohištvo in orožje iz časov bojev proti.