Rockersko kariero je začel ob koncu sedemdesetih z bendom The Birthday Party. Ekipa se je zbrala v avstralskem Melbourneu, v nekaj letih je med omejeno publiko glasbenega podzemlja dobila kultni status. Razlog, zakaj je njihova publika omejena, je na dlani.