Dramatično se je začela že mladost. Leta 1942, ko je imel komaj štiri leta, so Italijani požgali Zidarjevo domačo hišo v vasi Škrabče blizu Velikih Blok na Notranjskem in oče ga je komaj rešil iz gorečega poslopja. Doma so imeli kmetijo in gostilno, zato so se morali otroci ‐ Zidar ima še tri brate in dve sestri (brat Stane Zidar je danes prvi mož Tekstila) ‐ zgodaj navaditi trdega dela.