Največkrat so bili ti sovražniki. V gradu in njegovi okolici so v 19. stol. vlivali železarske izdelke in je Gradac slovel po teh izdelkih. Med 2. svetovno vojno je bila v gradu nekaj časa oficirska šola, po vojni pa otroško zavetišče za tiste, ki so v vojni izgubili starše.