Čez tri leta so Litvinenka iz notranjih sovjetskih vojsk prerazporedili v KGB, kjer je v različnih oddelkih služboval 11 let. Opravljal je operativno delo, kar pomeni zbiranje podatkov o dejanskih in domnevnih prestopnikih, pri čemer je pogosto deloval skupaj z navadno policijo. Specializiral se je za boj proti organiziranemu kriminalu in terorizmu na območju Ruske federacije, pri čemer je bil nagrajen za udeležbo v protiterorističnih akcijah na Kavkazu.