Leta 2003 so trenja v stranki dosegla vrelišče. Vidnejši člani SLS so mu predlagali t. i. gentlemanski sporazum, po katerem bi ga SLS v zameno za odstop s predsedniškega položaja podprla kot nosilca liste na evropskih volitvah. se je odločil za umik.