Абакумов всегда отличался высоким ростом и впечатляющей физической силой. Именно этот фактор способствовал его быстрому продвижению по карьерной лестнице. В 1932 году он возглавил комсомольскую работу, а вскоре во время компании по усилению органов представителя рабоче-крестьянской молодежи был переведен в ОГПУ. Судьба благоволила Абакумову: даже несмотря на весьма серьезные обвинения в использовании конспиративных квартир для интимных встреч с женщинами, он всегда выходил сухим из воды. Его перевели в Главное управление исправительно-трудовых лагерей и трудовых поселений, где он получил должность оперуполномоченного третьего отделения оперативного отдела.