Neka pravljica pripoveduje, da sta bila zidarja, ki sta zidala ta dva gradova, brata in da sta zidala obenem. Ker pa sta imela oba samo eno kladivo, moral je tedaj prvi kamenje vtikati, kadar ga je drugi tolkel.
Pred kakimi štirimi sto leti sta živela dva brata, in ., starejši brat, mož blizu štiridesetih let, bil je gospodar rodovinskega gradu in nekaj drugih lastnij, ki so bile kozjaškega imena in lasti.