袁世凱終於當上了大總統，當然，他的心腹大將段祺瑞也頗有收穫，他不僅贏得了“締造共和”的美名，而且還掌握了被袁視為命根子的軍權，當上了陸軍總長，他甚至與革命領袖黃興一樣，被授為陸軍上將和一等勳位。就這樣，他成了民國初年北洋政府的臺柱子。
大權在握的段祺瑞，之後更加積極地為袁世凱效命。他參與鎮壓孫中山領導發動的“二次革命”，殘殺了數以萬計的革命志士；他親率北洋軍剿殺白朗起義軍，雖然沒能實現他“一個月內消滅白朗軍”的誓言，可謂為袁世凱又立新功。
然而，就在這時，他開始與老上司袁世凱互生芥蒂，始有裂痕。當上大總統後，袁世凱因國事纏身，而沒有太多精力過問段掌管的陸軍部。而這時，“北洋三傑”均衡發展的格局已不復存在，北洋之“龍”王士珍掛冠歸里，無意仕官，宣佈隱退，馮國璋則外調南京，軍事勢力上的三足鼎立之勢，變成了由陸軍總長段祺瑞一人獨攬，他開始獨斷專行，除個別重大問題向袁請示外，其餘一概自作主張。久而久之，出現了“只知段總長，不知袁總統”的局面。這使袁世凱感到十分憂慮，他疑心段祺瑞要取而代之。袁世凱有疑心，段祺瑞也不無野心。已經手握大權，身坐高位的段祺瑞，已經不甘心再卑躬屈膝地作袁世凱的奴才，而要與袁爭利奪勢。
狡猾的袁世凱當然不會聽之任之。在基本鞏固了統治地位之後，就立即採取措施，向段索權。1914年5月，袁世凱將總統府軍事處改為“陸海軍大元帥統率辦事處”，設辦事處，囊括了陸、海、參謀三個部，袁凌駕其上，總攝軍權，而段祺瑞則僅是其中的六個辦事員之一，同年10月，袁世凱又組建了一個軍事模範團，直轄於統率辦事處，袁世凱自任團長，其子袁克定和陳光遠分任副團長，顯然，這是想另起爐灶，培植袁家的嫡系勢力，冷落段祺瑞。而且，同年，袁世凱還特將與段齊名的王士珍請出山來，並將其任命為統率辦事處的辦事員，王還參加了模範團的籌建。袁世凱這是想以王制段，造成二“龍”斗的局面。這樣，陸軍部的權力大大削弱，幾乎成了一個奉行政事的承轉機構，段祺瑞這個陸軍部長也就沒多少事可幹了。對此，段祺瑞很是不滿，特別是袁世凱對他的冷淡，使他不能忍受。於是，他開始消極抵抗，陸軍部的班，他也不去上了，只請心腹徐樹錚代理部務；辦事處成立後，他也不到任。為了不使段祺瑞由“友”變為“敵”，6月，袁世凱又給了段祺瑞一個建威上將軍兼管理將軍府事務的高位而無權的職位。但這貼藥對段祺瑞卻毫無作用。1915年5月，段祺瑞上書稱“病”，說：“自去冬甚病，飲食頓減，夜不成寐，逾至今春，遂至咯血”，然後，他就向袁世凱提出辭職。接書後，袁世凱大喜，便順水推舟說：“給假兩個月，並頒給人參四兩，醫藥費五千元，以資攝衛”。袁世凱的“人參”，更使段祺瑞怒火中燒，8月，他就正式提出辭去陸軍總長職務，袁世凱也毫不客氣，8月29日，明令將段免職。
段祺瑞的辭職，即是對袁世凱削奪權勢的抗議，也有對袁世凱的“洪憲帝制”進行反對的一面。段祺瑞反對帝制似乎非常堅決，下野在家養“病”時，他曾直言不諱地向來訪客人表示反對帝制，並在家人面前大罵袁世凱。一次，他大罵袁世凱時，被老婆張夫人聽見了，因為張夫人是袁世凱老婆於夫人的養女，所以，張夫人說他：“你今日之地位從何而來？何無良心至此！”段祺瑞聽了勃然大怒，竟打了這女人兩個耳光。故當時，袁世凱的長子袁克定怕名聲顯赫的段琪端公開反對帝制，會使自己當皇太子的計劃落空，於是，就想除掉他。可陰差陽錯，這事被張夫人得到了，立即去求於夫人幫忙，於夫人將此事告訴了袁世凱。袁世凱權衡之後，把兒子叫來對他說：“你姐夫對帝制有意見，但他不是以兵，而是以口，因此，我們沒有必要致他於死地，再說，他又是我們家裡的至親，大事未成，就這樣幹，將來恐不堪設想，你應該立即停止對他的不利行動。”這樣，才使段祺瑞倖免一死。對段祺瑞反對帝制，不能全盤否定，但也不能誇大其辭。因為帝制將會使他完全失去攀登權力頂峰的機會。而且，段祺瑞觀察到復辟帝制不得人心，為了名譽，為了身家性命，他採取了靜觀時變的策略。
形勢的發展，果不出段祺瑞所料，帝制活動很快敗亡，危難之時的袁世凱不得不向他的老部下段祺瑞低三下四。
1916年3月18日，袁世凱重新把段祺瑞請了出來，並對他說：“我老且病，悔不聽你言，致有今日糾紛，若取消帝制，還需要你幫忙。”而段祺瑞似乎也很給面子，他當即表示：“當竭我力相助”。正如梁啟超在給段祺瑞的信中所說：“今日之有公，猶辛亥之有項城。清室不讓，雖項城不能解辛亥之危；項城不退，雖公不能挽今日之局。”這時的段祺瑞，用當年袁世凱對付革命黨人和清廷的招法，來對付袁世凱和當時討伐袁世凱的護國軍，即外抗護國運動，內奪袁氏大權。他還效法當年袁世凱不直接從“孤兒寡母”手中奪權之法，他也不直接從這位“衣食父母”手中奪權，而是借用護國軍的力量來達到奪權的目的。
所不同的是，袁世凱比當年的清廷要狡猾得多，他始終對段祺瑞保持著高度的警惕。他巧妙對付，軟磨硬泡，就是不放權。他先是企圖以徐世昌為國務卿來制約段祺瑞，然而在段琪端的步步威逼下，徐世昌只幹了一個月，就不得不向段祺瑞拱手交權。但對於有職無權的國務卿，段祺瑞還堅辭不就，逼的袁世凱只好在5月4日將他改任為國務總理。就職後，段祺瑞馬上讓自己的心腹大將徐樹錚當上了秘書長。但袁世凱對這位“小徐”很不感冒，因此，他對段祺瑞說：“段總理是軍人，小徐亦是軍人，以軍人總理而用軍人秘書長，大不相宜。”聽了這話，段祺瑞頓時大怒，他覺得袁世凱也太不識時務了，於是，他把嘴上刁著的煙往桌子上一摔，聲色俱厲地說：“時至今日還是如此，一點都不肯放手！”隨後他的鼻子馬上往左邊歪斜過去，這位“北洋之虎每當發怒的時候，就是這副嘴臉。因此，人們背後都稱他“段歪鼻子”。之後不久，袁世凱就在萬民的唾罵聲中驟然死去，因此，段祺瑞沒再費多大力氣，就掌握了北洋政府的統治權。
