Jelinčič, še bolj kot po verbalnih napadih na »južnjake« znan kot ljubitelj orožja in eksploziva, se je v resnici prvič resneje srečal s policisti sredi sedemdesetih, ko je bil obsojen zaradi tatvine pištol v Narodnem muzeju, ki so se pozneje pojavile na londonskem tržišču. Drugič pa je prišel v navzkrižje z zakonom med osamosvojitveno vojno, ko so policisti med preiskavo pri njem doma našli veliko orožja, eksploziva, bomb ipd. in so mu tako preprečili paravojaške aktivnosti. Orožje je sicer pozneje preizkušal tudi v Tržiču, kjer je po strankarskem shodu v samoobrambi streljal pod noge štirim »južnjakom«.