於謹，字思敬，小名巨彌。河南洛陽人，出生在武將世家，曾祖婆是北魏懷懷荒鎮的鎮將，祖父於安下是平涼郡守、高平郡將。父親於提，隴西郡守，任平縣伯。
於謹為人深沉，有識量，略通經史，喜好讀孫子兵書。年少時並無做官的志向，隱居在鄉里，過著閒雲野鶴般的生活。當時有人勸他去做個官，於謹答道：“你要是給我個州郡之職，我也不稀罕。如果是三公之職，那也是要候時機，不是說當就能當上的。我現在悠閒於郡邑，無非是聊以度日而已。”當朝太宰元穆見於謹如此，感嘆道：“此人乃王佐之材啊。”
正光四年（523年），北魏六鎮發生起義，起義軍首領破六韓拔陵引柔然國為援，禍亂北魏北部，隨後戰火席捲北魏全境。北魏大行臺僕射元纂率眾前去討伐柔然，元纂宿聞於謹大名，於是徵他為伍，任鎧曹參軍事。
柔然聽聞元纂大軍將至，倉皇逃離出塞。元纂命於謹率二千騎兵追擊。於謹追至鬱對原，與柔然大軍前後交戰十七戰，將柔然大軍盡數俘獲。得勝後，於謹繼續率輕騎出塞，偵察柔然大軍動向，不巧，恰逢鐵勒的數千騎奄至，於謹覺得眾寡不敵，分散眾騎，化整為零，隱藏在樹叢之間。又派人登上山頭，裝作指揮部署士兵。
鐵勒族騎兵遠遠望見山上有人在指揮，雖然懷疑有伏兵，但仗著人多勢眾，繼續向於謹進逼。鐵勒人知道於謹經常乘坐的馬有兩匹，一匹紫馬，一匹是黑嘴的黃馬。於是於謹利用這一點，讓兩人各乘坐一匹，突陣而出。鐵勒人誤以為於謹，競相追逐。此時的於謹則帶領其餘的人馬攻擊鐵勒人。鐵勒人被打得措手不及，倉皇而逃，於謹因此得以入塞。
同年，廣陽王元深出兵北伐，引於謹為長流參軍，並對於謹禮遇有佳，行軍謀劃，皆與於謹商議。遂於謹同元深共同擊敗起義軍首領斛律野谷祿等人。
時值魏末，烽火四起，盜賊猖獗。於謹從容地向元深提議：“自正光年以後，海內沸騰，郡國荒殘，農商廢業。今殿下奉義行誅，遠臨關塞。雖然都是些跳樑小醜聚集在一起，但架不住人多啊。若極武窮兵，恐非計之上者。我願意稟大王之威略，前去遊說，這樣就必不勞兵甲，也可以可致清蕩了。”
元深聽罷，大為讚賞，同意於謹前往。
於謹會講各族語言，於是單槍匹馬衝入賊，向敵軍表示出恩德與信義。西部鐵勒酋長乜列河等人被說服，當即率領三萬多戶都歸附，並相繼南遷。
元深見不費一兵一卒就降服了對手，很是高興，便想去折敷嶺迎接於謹歸來。但於謹則說：“破六韓拔陵人多將廣，此次乜列河等歸附朝廷，破六韓拔陵必然咽不下這口氣，視乜列河等人為叛徒，一定會出兵來襲。如果讓他們先佔據險要之地，我們則很難對付他們了。如今我們應該以乜列河等人為誘餌，引破六韓拔陵來攻擊，我們以此設伏，就可以輕鬆地打敗他們了。”
元深依其計，於謹率領伏兵，大敗破六韓拔陵。
孝昌二年（526年），鮮于修禮在定州起義。朝廷命元深與元融共同前去討伐，於謹亦跟隨元深出征。結果鮮于修禮為“二五仔”元洪業所殺，鮮于修禮部下葛榮怒殺元洪業，接過鮮于修禮的大旗。
元深大軍行至白牛邏時，傳來元融兵敗博野白牛邏的訊息，並且為葛榮所殺，於是全軍不得不在中山安營紮寨。
元深大軍止步不前，這皇宮內就傳起了謠言。侍中元晏私下裡對執政的胡太后說：“廣陽王（元深）身為宗室，受命前去平定叛亂，如今大軍盤桓在中山不向前行，恐怕是在坐觀其變，圖謀不軌啊。聽聞廣陽王軍中有一個叫於謹的人，智略超人。這一切應該就是他的謀劃。如今天下大亂，風雲際會，這人恐怕心向著的不是陛下啊。”
胡太后聽罷，覺得元晏說得有道理，便下詔書張貼在尚書省門外。出重金懸賞於謹。
於謹聽聞此事後，嗅出了危險的味道，於是對元深說：“如今女主臨朝，輕信讒佞。如果你再不去表忠心，恐怕這災禍就要臨頭了。我願意親自到朝廷自首投案，向朝廷表白忠心，希望可以消災弭禍。”元深聽後，覺得別無他法，就答應了。
於謹來到尚書省門外，指著詔書大聲說：“我知道這個人。”不明真相的圍觀群眾便上前詢問。於謹道：“正是在下自己啊。”有官吏聽聞後，將此事告訴胡太后。胡太后命人將於謹押了過來，心中大怒。於謹義正嚴詞地向胡太后替元深表明瞭對朝廷的忠誠，並詳細陳述了為什麼大軍止步不前的原因。胡太后怒意稍解，隨後放了他。不久之後，於謹被升為別將。
當時，南梁將領曹義宗據守穰城，多次對北魏邊境發動騷擾。於是孝明帝就命於謹和行臺尚書辛纂率兵征討。雙方相持數年，打了十多仗，於謹被升任為都督、宣威將軍、冗從僕射。
武泰元年（528年），孝明帝為胡太后所鴆殺。當時大軍閥爾朱榮率軍開赴洛陽，意圖匡扶朝廷、剷除奸佞、安定局勢。並扶植元子攸為帝。孝莊帝元子攸即位後，任命於謹為鎮遠將軍，不久改任直寢。
同年，葛榮火併杜洛周，並收編他的部眾。北魏朝廷任命元天穆為大都督東北道諸軍事，前去討伐葛榮，於謹也隨之一同前往。葛榮率軍退守相州城北。九月，葛榮為爾朱榮所敗，身亡。
葛榮身亡後，北魏急令元天穆征討山東邢杲，於謹同行。次年邢杲兵敗。於謹憑軍功升任徵虜將軍。
武泰元年（528年），万俟醜奴在關隴地區稱帝。永安三年（530年），爾朱榮命爾朱天光西征關隴，平定万俟醜奴叛亂。武川人賀拔嶽以此為契機，吸納精英，形成了關隴集團的雛形。隨軍西征的於謹亦在此列。万俟醜奴平定後，憑軍功，於謹封爵石城縣伯。
十月，爾朱天光攻克平涼，宿勤明達請求投降。但在不久之後再次叛變，向北逃至東夏。賀拔嶽率兵欲追之，恰逢孝莊帝計殺爾朱榮，只好作罷。
同年，孝莊帝敗於爾朱氏集團，崩。
普泰元年（531年），於謹任徵北大將軍、金紫光祿大夫、散騎常侍。同年四月，於謹隨軍征討宿勤明達，及夏州賊寇賀遂有伐等人，皆勝。被授予大都督。
爾朱榮死後，高歡叛離爾朱氏集團，扶元修為帝（孝武帝），爾朱氏組成聯軍前去討伐。於謹跟隨爾朱天光在韓陵山一戰，敗！於謹敗逃入關。賀拔嶽知於謹之能，收於謹能大增關隴集團實力，因此授任於謹為衛將軍、咸陽郡守。
宇文泰鎮守夏州時，任於謹為防城大都督，兼夏州長史。永熙三年（534年），高歡挑撥侯莫陳悅與賀拔嶽的關係，使得侯莫陳悅設計殺害賀拔嶽。宇文泰被賀拔嶽舊部推薦成為新的領袖。在趕赴平涼前，於謹對宇文泰說出了這麼一番話：“魏朝國運衰微，權臣擅命，群盜四起，民不聊生。希望公仗著世間少有的英姿，懷著濟世的策略，四方遠近，都會臣服。願公早作打算，以不負眾望。”
宇文泰詫異地問道：“你這是話中有話啊，敞明瞭說。”
於謹答道：“關中，秦漢舊都，古稱天府，將士驍勇，土地肥沃。西有巴蜀之饒，北有羊馬之利。如今尚若能佔據要害，招集英雄，養兵勸農，靜觀時局變化，以不變應萬變。況且現在天子身在洛陽，為群雄所迫，兇險重重。如果公能向天子表明心跡，示以忠誠，闡述時局利弊，請天下移都關中，想必皇帝必然同意西遷。隨後公即刻挾天子而令諸侯，奉王命以討暴亂。這不就是一個能成就像齊桓公、晉文公那樣霸業，千載難逢的機會嘛。”
宇文泰對於謹的分析深以為然。
恰好孝武帝欲對抗高歡，意圖聯合宇文泰與賀拔勝。宇文泰藉此時機，送於謹等親信入京，明為詔令回京，實為關隴人質。於謹借勢，遊說孝武帝入關，取得顯著成果。
永熙三年（534年），孝武帝正式與高歡開戰，沒多久就敗逃長安，於謹跟隨孝武帝一同入關。同年十二月，孝武帝為宇文泰所害，由此北魏分裂成，以高歡為代表的東魏，和以宇文泰為代表的西魏。
東魏天平三年（536年）十二月，西魏鬧饑荒，高歡乘機出兵伐西魏。次月正月，宇文泰組織防禦，東、西魏第一場大戰——小關之戰爆發。西魏勝，佔據潼關，收得回洛城。於謹表現出眾，因功授予使持節、車騎大將軍、儀同三司、北雍州刺史，進爵藍田縣公。
大統元年（535年），於謹拜驃騎大將軍、開府儀同三司。
大統三年（537年），夏陽人王遊浪聚據楊氏壁謀逆，於謹奉命前去討伐，並生擒王遊浪。
同年，因關中大旱，顆粒無收，高歡以此為契機，兵分三路，親自統兵二十萬自壺口出發趕往蒲津，欲渡黃河。一路由竇泰進攻潼關，另一路由高昂包圍洛州。
宇文泰率關隴群豪，統兵不足一萬，被迫應戰，並在恆農穀倉休整後，集中精銳進攻竇泰兵，竇泰兵敗自殺。
西魏大軍乘勝追擊，東出伐東魏，命於謹為前鋒。至盤豆，此時東魏守將高叔禮據險而守，不願交戰。於謹向其發動猛烈地攻擊，最終破關而入，俘東魏一千餘人，並擒獲高叔禮。
隨後又攻下弘農，擒獲東魏陝州刺史李徽伯。
時高歡大軍至沙苑，於謹跟隨宇文泰及諸將，以少勝多，力敗高歡。戰後進爵常山郡公。這次戰役也是東、西魏的第二場大戰——沙苑之戰。
次年，高歡再次西伐，西魏先勝後敗。東、西魏的第三場大戰——河橋之戰，東魏險勝，並收復洛陽，但折損大將高昴。此戰西魏雖敗，但由於於謹作戰勇猛，拜為大丞相府長史，兼大行臺尚書。
同年，於謹率兵討伐平定稽胡帥夏州刺史劉平的叛亂。因功任大都督、恆並燕肆雲五州諸軍事、大將軍、恆州刺史，入任太子太師。
大統九年（543年），於謹跟隨宇文泰東出征討，進攻柏谷塢，大勝。
同年，東魏高仲密美麗的妻子李氏，受辱於高歡的色狼兒子高澄，高仲密一氣之下投奔西魏，東、西魏的第四場大戰——邙山之戰拉開序幕。
宇文泰親師諸軍接應高仲密，軍至洛陽，包圍河橋南城。高歡也親自將兵十萬，自黃河北岸渡河，據邙山為陣，數日不戰。宇文泰想趁夜登邙山想突襲高歡。被東魏斥候探悉。高歡嚴陣以待。雙方在黎明時分交鋒。
東魏大將彭樂表現神勇，以數千騎兵直衝入西魏北軍，所向皆潰。西魏軍失利，於謹率領他手下的兵馬假裝投降東魏，站在路旁。高歡急於北逐西魏逃軍，並沒在意於謹這支降軍。等東魏騎兵盡過，於謹就從東魏軍身後發動攻擊，東魏軍被打了個措手不及。恰逢獨孤信重新召集潰逃計程車兵，奮力衝殺，高歡大軍慌忙應敵，才保全了西魏軍。
大統十二年（546年），於謹任尚書左僕射，領司農卿。同年東、西魏的第五場大戰——玉壁之戰爆發。東魏戰敗後，高歡重病不起。病榻前，高歡擔心兒子高澄無法駕馭侯景。高澄對侯景起了殺心。
侯景察覺出高澄的心思，意投西魏，並請求西魏派兵作為支援，一同對付高澄。宇文泰深知侯景的才能，便命李弼帶兵接應他。
這時，於謹提醒宇文泰說：“侯景年輕時便通曉軍事謀略，是個人才。但為人性情多變，實在難以預測此行的目的。保險期間，應當先給他厚禮高官，看他有什麼動作。現在馬上派兵去接應，大為不可。”而這次宇文泰卻沒聽於謹的話。
不久宇文泰又讓於謹兼任大行臺尚書、丞相府長史，帶兵鎮守潼關，加授華州刺史，贈給他秬蒨酒一卣，附帶上圭瓚。隨後改任司空。
大統十五年（549年），於謹升為柱國大將軍。
大統十六年（550年），高歡之子高洋篡位稱帝，建立北齊。七月，宇文泰發兵征討北齊。於謹為後軍大都督。
當初，南朝梁元帝蕭繹平定侯景之亂後，在江陵繼位。秘密與北齊通使，打算侵犯西魏。而之前因侯景之亂，南梁宗室為奪帝位起了內訌，當時任雍州刺史的蕭詧，因兄長蕭譽在與蕭繹相爭時，兵敗被蕭繹所殺。蕭詧見不是蕭繹的對手，氣急之下，佔據襄陽城，投奔西魏。（詳情見上一篇楊忠篇）
西魏恭帝元年（554年），梁元帝蕭繹給宇文泰寫信，要求按照舊圖重新劃定疆界，言辭又極為傲慢。宇文泰大為不滿。於是命令於謹討伐南梁都城江陵，於謹統軍五萬，蕭詧出兵會合。宇文泰在青泥谷為於謹踐行。此時同行的長孫儉問於謹：“如果你是蕭繹，你會謀劃什麼計策？”
於謹答道：“有上、中、下三策。在漢、沔耀兵示威，把軍民財物統統帶上渡過長江，只據守丹陽，視為上策。遷徙外城內居民，退守子城，加高外牆，等待外援，視為中策。如果難於遷徙，據守外城，實為下策。”
長孫儉又問：“那麼蕭繹大概會用哪一計策？”
於謹答道：“必是下策。”
“那蕭繹為什麼棄上策不用，而一定會有下策呢？”長孫儉繼續問道。
於謹分析道：“南梁蕭氏，佔據長江以南已有數十年。正逢中原多事，沒有顧得上向外經略。又認為我們要對抗北齊這個憂患，肯定覺得我們不會分散兵力去攻打他。而且蕭繹怯懦而無謀，多疑而少決斷。這樣的蠢人難以考慮到事件的根本問題上，都喜歡留戀舊居，厭惡遷移。所以必定是據守城外，用此下策。”
依據這個戰略方針，於謹先派出宇文護和楊忠等人，率領精銳騎兵先佔據長江渡口，切斷南梁退路。南梁在外城圍了六十里的木柵，以抗西魏。不久之後，於謹大軍至，命眾將領將城團團圍住。
蕭繹多次派兵在城南出戰，皆被於謹輕鬆擊敗。十六天後，外城被陷，蕭繹退守子城。次日，蕭繹率領太子及臣民，反綁著雙手，出城投降。之後蕭詧以土袋將其悶死，於謹則帶著數不盡的珍寶，以及十多萬南梁男女回到西魏。於謹在此役中，獲得意外的收穫——神醫姚僧垣，並將此人一直帶在身邊。
一戰滅梁，扶植傀儡皇帝蕭詧，宇文泰很高興，親自到於謹府邸，與他把酒言歡。除了賞賜了諸多珍寶，奴婢之外，還命人作了十首《常山公平梁歌》，讓樂工唱之。
於謹覺得自己掌權已久，威望隆重。功名都有了，就想著急流勇退，產生了退居山野的想法。就把他所乘的駿馬和所穿的銷甲等獻上。宇文泰看著於謹送上來的東西，心裡明白於謹的意思，便說：“當今天下，局勢尚未穩定，你怎麼就可以獨善其身啊。”以此不同意於謹歸野。西魏恭帝三年（556年）正月，六官制度建立，於謹任大司寇。
西魏恭帝三年（556年）十月，宇文泰去世，宇文泰第三子，宇文覺尚幼。宇文護受宇文泰臨終所託，執掌國家大事。但宇文護聲望地位向來不高，這就導致各位王公大臣不怎麼願意順服於他。
宇文護為此事非常擔憂，便私下裡密訪於謹，尋求解決方法。於謹說：“我一直蒙丞相（宇文泰）眷顧，丞相待我之情，就媧骨肉至親一般。今天之事，我必以死相爭。如果面對眾人確定‘繼承人’，那你發一定不要相讓。”
第二天，眾位王公聚集在一起商議國事如何處置時。於謹站起來，神情嚴肅地說：“從前皇室危難，人人企圖問鼎天下。丞相立志匡扶天下，揮袖操戈。才使國家的命運得以中興，百姓得以安生。如今天降禍端，丞相突然離棄百官。留有幼子，難擔重任，而中山公（宇文護）則像他的兒子那樣親，同時又是丞相臨終所託之人，軍國大事，理所當然應該歸他掌理。”
此話一出，眾人皆被震驚到，宇文護介面道：“這乃是我們宇文家的家事，我雖然庸昧，但也不敢辭。”
於謹的名望、資歷與宇文泰相仿，宇文護對他很是尊敬。於謹見宇文泰該說的話已然說出口，便上前說道：“有您統理國家大事，那麼之後我們這些人就要依靠你了。”說完向宇文護跪拜兩次。由於於謹帶頭表示對宇文護順服，其他那些王公大臣也不得不一起跟著於謹跪拜宇文護，這才使得宇文護順利接管了宇文泰的權力。
北周孝閔帝元年（557年），宇文護迫使西魏恭帝禪位於宇文覺，建立北周。於謹被進封為燕國公，升任太傅、大宗伯，和李弼、侯莫陳崇等人參議朝政。
武成元年（559年），吐谷渾侵犯涼州，北周朝廷詔宇文泰外甥賀蘭祥討伐吐谷渾，於謹遙領軍隊，教授策略。使得賀蘭祥擊退吐谷渾。
保定二年（562年），於謹因年老，上表請求辭去官職。周武帝宇文邕下詔說：“古時候姜子牙年過九十，召伯幾乎接近一百歲，尚且自強不息，還都在為王室效勞。如今正打算以您作為舟楫，救助這世道，使人們解脫苦難。你怎麼能忘記姜、召二位的美德，而有這樣的請求？朕替你感到羞愧啊，如果你再堅持辭官，那麼相關的官員就不要再報送了。”
保定三年（563年）四月，宇文邕下詔說：“樹立元首，主持教化，讓百姓遵奉孝悌，使仁者長壽。所以古代賢明的帝王，都按這樣的典制，設立三老五更，親自袒割牲肉，舉行敬老的典儀。我以卑微之身，居帝王之位，怎麼敢遺棄老人，不加尊敬？太傅、燕國公於謹，品德淳樸，是國家的元老，贈送請求建議，朝野所屬。可任命他為三老，有關官員應備好禮儀，選擇吉日上報。”
於謹上表堅決推辭，周武帝下詔不準。又賜給他延年杖。
保定四年（564年），晉公宇文護出兵東伐北齊，當時於謹已年老且多病纏身，宇文護念他是宿將舊臣，依然請他一同前去，不斷請教戰略方針。大軍回來後，賜給於謹鐘磬一部。
天和二年（567年），宇文護又賜給他安車一乘，不久授任雍州牧。
天和三年（568年）三月二十三日，於謹死於任上 ，終年七十六歲。
