不久,斯大林逝世。在拥立赫鲁晓夫“即位”的过程中,朱可夫立了头功,正是他出头逮捕了赫鲁晓夫的对手贝利亚。赫鲁晓夫上任之初还算知恩图报,任命朱可夫为国防部长,并请他进入政治局。但1957年,赫鲁晓夫利用朱可夫在南斯拉夫访问的机会,在苏共中央全会上指控朱可夫阴谋夺权,并免去其一切职务。朱可夫从此下野,当局不让他参与一切军事、政治活动。
更令朱可夫痛苦的是,许多以前想来沾他的光的朋友都疏远、乃至背叛了他。冒着风险与朱可夫保持深厚友谊的只有巴格拉米扬、华西列夫斯基和罗科索夫斯基等几位元帅。[4]
也就在这时,朱可夫认识了比他小30岁的加林娜;并与之结为夫妇。在朱可夫60岁那年,他们的女儿诞生了。 此后不久,病魔便将朱可夫彻底击垮了:原来他花了极大心思写出的《回忆与思考》被禁止出版。朱可夫到处求人,但苏共中央政治局对此就是不肯点头。朱可夫一气之下,中风了。
原来,当时的苏共中央总书记勃列日涅夫对这部战争纪录中没有提到他的名字深为不满。最后,朱可夫不得不妥协,在书中加上一段有关勃列日涅夫的文字。
1970年左右,朱可夫当选了莫斯科州苏共代表大会代表。朱可夫非常高兴,为此还专门订做了一件新制服。他焦急地等待大会的召开。但就在会议召开的前一天,勃列日涅夫告诉加林娜:“我建议他不要出席会议。如果出席,他得频频起立、坐下,
会吃不消的。”朱可夫遗憾地回到自己的别墅,此后精神更加抑郁了。
1973年底,朱可夫深爱的妻子加林娜因乳腺癌病逝,这对朱可夫的打击巨大,而那时朱可夫已经老得连去墓地的力气都没有了。爱妻死后不到8个月,朱可夫的病情更加恶化。先是心肌梗复发,随后是心脏停跳出现医学上的临床死亡。他的心肌被注入特殊药剂后,心脏恢复跳动,但脑供血却没有恢复。站在他的病榻前,格奥尔基看到他的目光微闪,似乎认出了他,但却无力再说什么。
戴着人工呼吸器,朱可夫毫无知觉地走完了生命的最后5天。
1974年6月18日,一代名将朱可夫元帅溘然长逝,享年78岁。