當劉宋皇帝對內改革忙得不亦樂乎之時，北魏這邊也沒閒著。太安二年（公元456年，劉宋孝建三年），在立太子、立皇后之後。拓跋濬把焦點逐步轉向了周邊。
這年八月，先是北魏平西將軍、漁陽公尉遲眷（尉眷）對伊吾發起了進攻，並很快攻克了伊吾城，擄掠很多東西返回。
接著這年十一月，拓跋濬任命尚書、西平王源賀擔任冀州刺史，並改賜爵位為隴西王。上任伊始，源賀就上書對拓跋濬說：“如今，北方蠻虜不斷進攻、騷擾，南方賊寇也時時對我們產生威脅，因此，我們的邊疆一帶，還必須要增加兵力，嚴加防守。我個人認為：除了大逆不道圖謀造反的與殺人犯外，其餘凡是因貪贓、偷盜以及犯有罪過崐應該被判死刑的，都可以得到寬恕，將他們發配到邊境上戍守。這樣做，等於使他們已經斷了的身體接受朝廷的再生之恩，負擔徭役的人家，也因此能夠得到歇息的實惠。”
一直以來，源賀更多是以他的軍事能力、軍功展現在人們眼前，現在提出這樣一份建議，不少人還是頗為吃驚的，但拓跋濬絲毫不意外，他贊同了源賀的建議。事實上，拓跋濬雖然對不少大臣下手頗重，但對那些被他視為心腹的文臣武將他則是信任有加。過了一段時間之後，源賀的建議帶來的效果也是顯著，拓跋濬於是對眾大臣說：“我採納源賀的建議，一年之內，救活了不少人，邊防的守衛兵力也增強了許多。你們這些人如果也像源賀這樣，朕還有什麼可擔憂的呢？”
拓跋濬這樣誇讚源賀自然會遭至其他大臣的羨慕嫉妒恨，這不一個來自武邑叫石華的人就控告源賀，說他要陰謀反叛，有關部門得知訊息後自然不敢怠慢，把這一訊息立即告訴了拓跋濬。拓跋濬對此當然不信了，他向眾大臣拍胸脯說：“源賀竭心盡力為國家做事，朕敢於向你們擔保他，絕對不會有這樣的事發生，這是很明顯的。”
當然事實才能堵住眾人的議論，於是拓跋濬派人去詳細查訪驗證，這種情況下石華很快承認自己是誣告源賀，得知情況的拓跋濬自然不會手軟，於是下令誅殺了石華。然後他對左右說：“像源賀這種忠心耿耿的人還免不了要被別人誣衊誹謗，而那些趕不上源賀的人，又怎麼能不小心謹慎呢！”
拓跋濬對源賀如此信賴，源賀也沒讓拓跋濬失望，在源賀任職冀州的這幾年中，他的政績在眾刺史中最為突出，拓跋濬為此特賜他衣馬器物，並頒詔告知天下。期間，源賀數次要求卸任刺史職務，但遭到了拒絕。
邊境穩定了，地方也井然有序，拓跋濬又開始著手社會風氣的問題了，太安四年（公元458年，大明二年）正月丙午朔（初一），拓跋濬頒佈禁酒令，釀酒、賣酒、飲酒的人，一律斬首；遇到喜事、喪事的時候，暫時可以開禁，但一定要有日期限制。拓跋濬為什麼要這樣做呢？除了可以節約糧食，還因為北魏國內士民、百姓常常由於酗酒而導致相互毆打，或者藉著喝酒而在一起議論國家政事，為了杜絕這些情況繼續發生，拓跋濬才頒佈了禁酒令。
對百姓有所約束，對於官員更是跑不了了，拓跋濬下令增加了內外候官，負責監察各曹、州、鎮。這些內外侯官有時還會換上平民百姓穿的家常衣服，混雜在政府、寺廟等地，以此來尋找文武百官是否有什麼過失，一旦發現，有關部門就會嚴加追究、盤查，抓起來，嚴刑拷打，逼招口供。倘若文武百官接受賄賂贓物，布匹達到兩丈，即予斬首。為了完善法治，拓跋濬又增加七十九章法律條文。
在北魏君臣的努力下，北魏國內不僅逐漸穩定，還展現出了良好的氣象。
