建國之後，總參謀部是解放軍總部第一大部，雖然名義上仍在國防部之下，但其重要性是不言而喻的。在這一時期，三軍總參謀長基本上也是由元帥或大將擔任，1954年到1958年間，戰功赫赫的原三野副司令粟總曾出任過總參謀長。很多開國將領回憶：這是總參謀部工作效率最高的一個時期。粟司令的軍事才華和管理能力，得到了充分的展現。
總參謀部工作繁重，不可能全部指望總長一人進行統籌安排，副總參謀長也是非常重要的。但在建國初期情況有點出人意料：副總參謀長幾乎是解放軍總部最特殊的一個職務，雖然人員眾多，一度給粟總配備了11個副職，但實際能到崗的卻沒有幾人，大部分將領都有十分重要的實職，無法到總參謀部上班。我們來看看具體情況。
副總長當中地位最高的，是黃克誠大將，他位居第一副總參謀長之職。當時黃克誠還是中央軍委秘書長及國防部副部長，另有其他職務，所以分身乏術的黃克誠基本上是不能到總參謀部上班的。這個第一副總長，對粟司令的實際工作支援並不大。值得一提的是，1958年粟總卸任，接替他總長職務的正是黃克誠大將。
曾任志願軍副司令員、司令員的鄧華，此時的主要精力在東北。他擔任瀋陽軍區司令員，所以副總長只是個掛職，基本上不到北京。許世友和鄧華的情況差不多，五十年代是南京軍區司令員，平時坐鎮南京，沒法和粟總共同在總參辦公。彭紹輝副總長雖然只是大軍區副司令，但因為西北軍區的正職賀老總在北京工作，彭紹輝就得主持軍區工作，同樣到不了北京。楊成武上將的兼職更是非常多，擔任防空軍司令、京津衛戍區司令、北京軍區司令員，同樣分身乏術，副總長基本只是個掛名。
王震、張宗遜、韓先楚三位上將，也都是粟總任期內的副總參謀長。因為修建鐵路、興辦軍校以及求學方面的需要，他們三人長時間不在總參謀部上班。其中比較可惜的是韓先楚，因為韓先楚和粟總一樣，軍事指揮水準突出，被認為是我軍“戰神”級人物，他沒能在總參跟粟總合作十分遺憾。當時韓先楚在南京軍事學院進修，學成之後擔任福州軍區司令員，這位副總長基本上沒去過總參謀部。
副總長不到崗並非不支援粟司令的工作，而是建國初期的特殊情況所致，中央對此也是理解的，不然不可能設定11個副總長。就是考慮到有將領身兼多職的情況，要確保總參的正常運轉。在總參謀部與粟司令長期共事的副總長只有三個人：分別是李克農、張愛萍和陳賡。李克農負責情報工作，給粟總分擔了很多工作壓力；張愛萍雖然人在總參謀部，但是因為國防部長彭總也在這棟樓上辦公，對於紅三軍團出身的將領張愛萍，彭總始終十分器重，所以張愛萍在這段時間幹了不少國防部的活。
而真正對副總幫助最大的，是他的好友陳賡大將。陳賡雖然身兼哈軍工的教學和管理工作，但同時卻十分重視副總參謀長的職務，後期基本上就在總參謀部坐班。粟總的主要工作內容都是和陳賡商議完成的，而總副總參謀長裡面最主要的作戰工作，粟司令理所當然地也交給了軍事指揮能力最強，並且能夠長期在總參謀部工作的陳賡。
而在粟總出差、不在北京期間，主持總參謀部工作的通常也是陳賡大將。兩人不僅僅是工作上的好戰友，私下也是一對親密夥伴。1958年，粟總因為“反個人主義”風波被免除職務，陳賡大將在批判會上堅決不說粟總一句壞話，並且還在他落難之時好言安慰，由此可見兩人的深厚友情及陳賡的正直人品。
