进入苏联莫斯科东方大学，不久转入莫斯科中山大学学习。1927年底至1929年夏任中央秘书长，1929年底和193o年初，同张云逸等在中国南部的广西领导百色起义，193o年2月1日，又和李明瑞等领导了龙州起义，创立中国工农红军第七军、第八军和左江、右江革命根据地。
1931年8月，他和新婚妻子金维映来到江西中央苏区，先后担任军委总政治部秘书长、红军报纸《红星》报主编和瑞金县委书记，1932年5月，改任会昌县委书记。
在反围剿时期，邓小平坚决拥护主席的正确主张。因此，推行王明“左”倾路线的临时中央，在1933年3月开展了反对以邓、毛、谢、古为代表的所谓“江西罗明路线”的斗争，他受到残酷斗争和无情打击，被撤职，妻子被迫与他划清界限，离了婚。
1934年1o月参加长征，年底担任中央秘书长，1935年1月参加了在贵州省遵义县城召开的中央政治局扩大会议。
抗日战争爆后，中国工农红军改编为国民革命军第八路军，他任八路军总政治部副主任，后任129师政治委员，同师长刘伯承共同领导创建了晋冀豫等抗日根据地，卓有成效地开展了这些地区的抗日战争。1945年在第七次全国代表大会上当选为中央委员。解放战争时期，任中国人民解放军晋冀鲁豫野战军政治委员1947年同刘伯承一起率军南渡黄河，挺进大别山地区，开始了人民解放军对国民党军队的全国性战略进攻。在对解放战争具有重大意义的淮海战役和渡江战役中，任总前委书记。他和刘伯承、陈毅等指挥人民解放军攻克了国民党政府都南京，并向华东、中南、西南各省进军。
中华人民共和国建立后，任中央人民政府委员、中央西南局第一书记、西南军政委员会副主席、西南军区政治委员。1952年7月，调入中央，任政务院常务副总理，随后又兼任财经委员会副主任、财政部长。1954年，他出任党中央秘书长兼党中央组织部部长。同年任国防委员会副主席。1955年七届五中全会上，增选为中央政治局委员。1956年在八届一中全会上当选为中央政治局常务委员、中央委员会总书记。