Od tu je šla Butova kariera počasi v zaton. Ker so poslanci SLS marca leta 2004 podprli interpelacijo zoper notranjega ministra Rada, hkrati pa so se vzdržali glasovanja o interpelaciji zoper zdravstvenega ministra , je takratni premier SLS nagnal iz koalicije. je ostal brez ministrske funkcije.