Ko je Janko julija 1916 prebegnil k Rusom, je moral Josip kot politično sumljiv v konfinacijo v Budimpešto in je ostal tam do konca vojne. Čeprav je bil konfiniran, mu je uspelo pomagati Jankovim tovarišem, ki so pošiljali v Švico knjige s šifriranimi obvestili, tako da je dal tiskati etiketo neke dunajske knjigarne in so mogli člani »tajnega odbora« v njenem imenu pošiljati pakete s knjigami v Švico.