Ohranili so bili svoje prosto slovensko ime ‒ Kozjak, ki je v rodovini segalo daleč nazaj v nepomljive čase slovenske zgodovine tudi potem, ko so večidel vsi prosti domačini morali umakniti se tujim plemenitašem iz Nemške in Laške. Kozjaki so bili tedaj plemenita rodovina slovenska, kakršnih je zdaj, žalibog, čisto malo pri nas, ker so še tiste pomrle, kar smo jih imeli nekdaj, kakor, postavim, ravno letá. Na drugem hribu, ne daleč od Kozjaka, je stal drugi grad ‒ Šumbreg. Neka pravljica pripoveduje, da sta bila zidarja, ki sta zidala ta dva gradova, brata in da sta zidala obenem.