1886年4月19日，大島浩生於岐阜縣。其父大島健一是軍人出身，年輕時曾留學德國，對德軍的訓練教育感受很深，他生得鼻直口方，很是英武。
大島健一教育兒子完全是德國式教育。他命令大島浩每天必須記住10個德語單詞，晚飯前進行背誦。每逢星期日和冬夏兩個假期，大島浩被送到德國駐日使館人員的家裡，在思維、遊戲、生活等方面進行全方位式德式薰陶。
大島浩和東條英機關係很好，如果不是因用功過度而患胸膜炎休學一年的話，他和東條英機就是同班同學。
1905年，大島浩從陸軍士官學校畢業。他的要塞炮兵課程成績名列榜首，因此被分配到東京灣要塞炮兵隊服役。1908年，大島浩晉升為中尉。1915年，又拿到陸軍大學的畢業證書，畢業成績名列第十四。
1916年，升為上尉，從此步步高昇，青雲直上。1921年，出任駐德大使館副武官。大島浩踏上德國的土地之後，受到了像返回祖國般的熱情款待。因為他的父親大島健一在擔任陸軍大臣時，對第一次世界大戰中的德軍俘虜非常照顧。父親的行為使兒子得到了好處。大島浩把自己完全德國化了。他的軍服都要在德國軍官常去的服裝店製作；帽子也是德國陸軍的樣式，帽簷兒很高；大衣也是開胸很大的德國式。總之，除了他的個頭比較矮小之外，簡直跟德國軍官一模一樣。大島浩晉升為少校後，立即於1933年調任駐奧地利兼匈牙利公使館武官。一年半後回國，先後擔任了第八野戰重炮聯隊大隊長、第十野炮重炮聯隊聯隊長、參謀本部課長等職。1934年3月，他正式出任駐德大使館武官。在之後10餘年中，他一直為日德軍事同盟而奔波，出謀劃策，收集情報，極盡外交家兼諜報人員之能事。20世紀30年代初期，日本到處瘋咬，逐漸把自己逼上絕路。1931年，日本在中國東北製造“滿洲國事件”，使中國東北淪於日蹄之下。1933年，退出聯合國；1934年，撕毀華盛頓海軍裁軍條約；1936年，退出倫敦裁軍會議······
此時德國的情況也不怎麼樂觀，原因是與日本一個鼻子出氣的納粹集團同樣是一隻無藥可救的瘋狗。
1933年，希特勒建立納粹政權後不久，就步日本之後塵於同年宣佈退出聯合國；1935年，希特勒使用人民投票的方法獲得了澤爾地區，進而在沖垮凡爾賽體制的口號下，於1936年出兵萊菌非軍事區，從而使德國也變成了國際社會中的狂人。風然日德兩國所處的情況不同，但都反對現行的國際秩序，並四此在國際社會上雙雙陷人了孤立境地。在此種情況下，兩個臭味相投的國家一拍即合。儘管當時有不少日本外交官借出日德軍事協定的簽署是一件兇多青少的事，並指出“日本將來只被德國所利用，不會有任何所得”。在大島島酷即將前往德國赴任之際，陸軍參謀本部特別要求他注意認真意察蘇值關係的動向。日本陸軍認為，蘇聯不再是假想的敵人，已是現實的威脅。不言面輸。對於陸軍來說，德國的對蘇態度是極其重要的。陸軍首先考慮的是，在日蘇開戰時，德國能否予以合作。1935年春天，德國亨克爾飛機公司負責向日本陸海軍出口工作的喻克試探地問大島浩：“不知貴國是否願意與德國締結德日軍事合作條約共同對付蘇聯？”哈克接著又說：“當然這是納粹黨外交部長裡賓特洛普的個人想法。”
大島浩聽後大為心動。同年10月，在裡賓特洛普的要求下，大島浩與其在哈克家裡進行首次會見。兩人詳細密談了關於締結軍事條約的事。隨後，大島浩立即拍電將此報告給參謀本部。
當時，大島浩心意已定，為了牽制蘇聯，日德必須締約。他說：“日微戰爭時，由於俄國與德國簽訂了協約，所以俄國毫無後顧之憂，把自己的王牌部隊調到遠東作戰，使日軍大吃苦頭。“第一次世界大戰中，反過來由於日本對德宣戰，又使俄國可以放心大膽地打起德國人來。因此，這次如果日德兩國結為盟友，就會迫使蘇聯兩面作戰，它再想幹預日本的對華政策也就不那麼容易了。”參謀本部收到大島告的報告後，為摸清德國方面的真實意圖，於同年11月深陸戰二部德國情報組組長若松前往柏林。若松在柏林逗留期間，曾與屋賓特洛普和德國國防部長舉行了會談。在大島浩的參與下，雙方草擬出《防共協定》。《日德防共協定》定於1936年11月25日簽約生效。該協定還附有一份議定書和一份秘密協定。《日德防共協定》締結後的第三天，即11月28日，蘇聯負責外交工作的人民委員李季諾夫在蘇維埃第八次全國代表大會上譴責了法西斯國家的反蘇外交政策，強調指出：“公佈於眾的防共協定不是什麼為對付第三國際的協定；運用正確的語言表達，只不過是其他秘密協定的一種掩護而已。”他說：“這個秘密協定，充分暴露了過去15個月以來日本陸軍武官與德國超級外交官之間所進行的會談的真正目的。”這就是說，蘇聯諜報機關業已探明，《日德防共協定》是日本陸軍代表獨斷專行的產物，它將發展成為一個極其危險的因素。當初日本外務省的想法是：應避免《防共協定》過分刺激英國和蘇聯，同時不要加入任何特定的政治集團。然而，事實上它已大大地刺激了蘇聯，英國也投來了不安的目光。緊接著，意大利於1937年也在這個協定上籤了字，至此，日、德、意三國開始走上結盟的道路。
1938年7月14日，日本駐義大利使館武官有末精三突然接到大島浩的電話，要求他在16日到布達佩斯的蓋萊爾特飯店見一面。大島浩沒有告訴有末具體內容，只說到時再說。
到了指定日期的下午，有末精三坐在飯店的大廳裡等待大島浩時，還在反覆猜想：他找我到底要幹什麼呢？
過了一會兒，大島和參謀本部的笠原幸雄一起走進了大廳，笠原的腋下還緊緊夾著一個手提包。據傳，笠原將出任駐柏林武官。因此有末精三想他們一定是來商討對蘇聯秘密活動的。
大島浩說：“此番會晤的內容極為保密，為以防萬一，我們還是換個地方吧。”
於是他們決定借日本駐匈牙利公使館大使私邸進行交談。後來為防竊聽，三人又跑到停放在有樹林掩蔽的庭院中心汽車裡。
大島浩沉穩地從手提包裡取出一本30釐米寬的相簿，然後揭下了幾張照片給有末精三看。照片實際是密碼。大島浩說：“這是德國提出的有關日、德、意三國結盟的方案。這次的方案不是隻針對蘇聯，而是對各國而言的。主要意思是，當任何一方受到第三國進攻時，三個國家要互相支援，包括武力援助。事關重大，不便發電。所以，決定請笠原君親自帶回東京。你看這個方案任何？”有末精三回答說：“義大利和德、日兩國的情況不同，恐怕其國內形勢使之難以同意加盟。”大島浩邊聽邊說：“裡賓特洛普說，戈林元帥和墨索里尼總理是老交情了，沒有什麼問題？”最後，大島浩還叮囑道：“此事不宜外傳。”“但，對大使······”有末精三囁嘴地剛要發話，就被大島浩打斷：“這是軍事機密。”並強調道，“同國內的一切交涉都要透過我。”為加強日、德、意三國的合作，早在1938年1月，剛剛就任德國政府外交部長的裡賓特洛普就與大島浩開始了磋商。這次也和簽訂《防共協定》時一樣，駐德大使東鄉茂德完全被矇在鼓裡，這在外交上是不允許的。這裡面的原因是東鄉茂德在擔任歐美局局長時，曾就簽訂《日德防共協定》表示過反對。他說：“希特勒的過激行動終將成為引起歐洲乃至世界大亂的根源，因此日本與之結盟並非上策。”所以裡賓特洛普肯定對他甚為不滿，而想透過大島浩來做日本陸軍的工作。
1938年7月，駐德大使館一等秘書昌谷忠寶獲悉，笠原在柏林的逗留是為了與德方磋商加強日、德、意三國合作的問題，於是馬上報告了東鄉大使。東鄉聞之大為震驚。8月中旬，當東鄉瞭解到談判獲得相當進展時，立即電告外務省：“三國同盟很可能起到誘發歐洲戰爭的壞作用，最後日本也會被牽連進去，因而應取消結盟談判。”
但是，就任外相不久的宇恆一成卻回電說：“關於加強《防共協定》問題，已決定由陸軍武官大島浩同裡賓特洛普進行聯絡磋商。”東鄉茂德不服，第二次拍電：“委託陸軍武官處理軍事以外工作是很不妥當的。這有悖於外交一元化原則。”幾天之後，東鄉便被調往莫斯科。大島浩的謀報奇才運用到了自己人身上，東鄉被排擠出去，德國成了大島浩獨來獨往的場所。10月，大島浩直接由武官升為大使，這在日本外交史上尚屬首例。同時，日本老軸心外交促進派白鳥敏夫被任命為駐意大使。日、德、意三國結盟的步伐更加加快了。在白鳥臨行之際，當時的首相近衛鼓勵他說：“到任之後，希望你與大島大使合作，在那裡不斷為鼓舞國內士氣而努力。”
很顯然，“鼓舞國內士氣”指的就是加強情報活動。對於加強日、德、意三國合作問題，近衛內閣及其後來的平沼內閣，態度都極為曖昧。之所以如此，完全與信仰日、德、意軸心主義的少壯軍官擁戴上臺的陸軍大臣板垣徵四郎有關。
在五大臣中，即總理大臣、大藏大臣、外務大臣、陸軍大臣、海軍大臣，板垣徵四郎有著絕對的影響，這就使得應起主導作用的總理大臣一味退讓；而應堅持外交原則的外務省也立場不穩、態度暖昧。
1938年8月12日，外務省向五大臣會議提出關於日德談判方案，明明白白地把締約的目的限定在蘇聯一國的範圍內，可29日參謀本部拍給大島的電報卻含糊其辭地說：“（條約）矛頭雖針對蘇聯，但不要給人印象，似乎英美等國也列為我正面之敵。”11月11日，五大臣會議又一致透過決議：“本協定矛頭主要針對蘇聯，即使英法等國站在蘇聯一邊，變成我們敵人，也不要以英法等國為物件。”12月25日，大島浩表示反對這一決定。他說：“倘若矛頭直針對蘇聯，三國協定則難以談判成功。”由於陸軍大臣板垣支援大島浩，使近衛內閣意見分歧。結果一個月後，近衛內閣便宣佈倒臺。
為侵略者奔走而落得可恥下場
1939年1月4日，平沼內閣誕生。19日，召開五大臣會議，終於達成一個妥協方案：條約矛頭固然應該主要針對蘇聯，但也可以根據情況指向第三國。然而大島浩依然對此方案表示反對。
他在3月4日的回電中說：“談判時若提出如此建議，只會招致德意的輕蔑。”他主張無保留、無條件地實現三國同盟。
大島浩這一偏執態度激怒了政府首腦。宮內大臣湯淺倉平申訴參謀次長中島鐵藏說：“大島浩的態度簡直豈有此理！可以說，他已經侵犯了陛下的外交大權。”海軍大臣米內光政則提出罷免大島浩。
儘管如此，大島浩依然我行我素。他若無其事地說：“倘若不能組成軍事同盟，我就辭職，如果我辭了職，內閣恐怕就難免倒臺。”
大島浩之所以如此盛氣凌人，是因為他雖然身為大使，卻不是與外務省，而是與參謀本部串通一氣。外務大臣抱怨說：“大島大使與參謀本部之間有什麼電報來往，外務省一無所知。相反，外務省的電文卻馬上被日本陸海軍獲取，然後從中挑毛病，進行攻擊。”大島浩和白鳥等人依仗陸軍支援，濫施軍人外交。4月2日和3日，他們分別會見了德國裡賓特洛普外長和義大利齊亞諾外長，他們明確表示：一旦歐洲爆發戰爭，日本一定參戰。大島浩終於將日本推向了法西斯的碾盤之上。
然而大島浩萬萬沒有料到，德國卻在暗地裡跟日本人玩花招。裡賓特洛普一面叫嚷著與日意結成神聖同盟，一面暗暗與蘇聯的莫洛托夫多次舉行了蘇德秘密會談。
1938年，德國吞併奧地利；1939年，又肢解了捷克斯洛伐克。為了滿足其膨脹的貪慾，它的下一個目標便是波蘭。
精明的大島浩卻對此一無所知。這不能不說是對他的一大諷刺。然而，德國這一舉動卻引起英法等國警惕，使得英法對德的態度強硬起來，並想透過與蘇聯結盟，孤立德國。
德國也想到了這一點，選擇蘇聯作為靠山或盟友以對付英法。這使蘇聯處在一種既可選擇英法為友，又可選擇德國為友的地位上。而日本，對此毫無察覺。
