Od tu je šla Butova kariera počasi v zaton. Ker so poslanci SLS marca leta 2004 podprli interpelacijo zoper notranjega ministra Rada Bohinca, hkrati pa so se vzdržali glasovanja o interpelaciji zoper zdravstvenega ministra Dušana Kebra, je takratni premier Anton Rop SLS nagnal iz koalicije. But je ostal brez ministrske funkcije.