Kmetsko ljudstvo je zbežalo pred njimi v hribe in gozdove. Samo grajski so ostali za svojim trdnim zidovjem, ki pa ni mnogo zaleglo, kajti grduhi so ga z naskokom zavzeli, ga oplenili in nazadnje zažgali. Od tistih dob gradu nikoli več niso mogli pošteno popraviti, za novega pa je menda primanjkovalo denarja.