因為勢必將遭到美軍毀滅性的海空打擊，慄林決定將島上所有兵員全部安排到地底下去。他的想法是大膽的，幾乎沒有什麼地方要比硫磺島更不適合進行地下工程建築了。在地下約10米深的地方，熱度之強使士兵們工作超過5分鐘就必須返回地面作短暫休息。即使帶上防毒面具，地下作業也堅持不了半個小時。到處瀰漫的硫磺氣味使人整天暈乎乎的。在元山地區，有人挖一尺深度把白薯埋進去，兩個小時就能烤熟。蒸白米會慢一點，但有三個小時就足夠了——放在今天，連電飯鍋都省了。後來美軍登陸之後，陸戰隊員就利用這種地熱燒洗澡水或煮咖啡。
日軍127毫米高平兩用炮
儘管條件異常惡劣，但隨著慄林一聲令下，島上的人開始用任何可以獲得的工具和機器向島上的岩石挖去。好在日本兵本來具有吃苦耐勞的天性，早已習慣了島上的孤寂苦悶。除挖掘工事之外，他們也找不到其他事情來消磨時間，只能集中精力把工事挖掘得盡善盡美。從本土來的工程專家設計了地下防禦工事，鋼筋、水泥等貨物被源源不斷從父島運來。日軍士兵驚喜地發現，島上比比皆是的火山灰可以輕易被加工成混凝土，可以用於構築工事和掩體。海軍設營隊砍伐樹木來支撐山洞。令慄林頗感欣慰的是，由於塞班、提尼安和關島過早失守，原計劃運往那裡的人員、裝備和物資很多被就近運上硫磺島。儘管美軍曾出動飛機和潛艇實施攔截，但日軍以父島為中轉站採用小艇駁運方式轉運，美軍的封鎖效果並不理想。
單兵掩體
島上平坦的中心地帶沒有提供多少天然據點，建設者不得不從零開始，在一個整潔的格子中建起地下防禦工事的每一部分。在大多數防禦系統中，多個出口使日軍士兵可以從看似不可能的地方突然出現進行反擊。防禦者能夠從側翼包圍前進中的進攻者，他們主要透過隧道其他出口迂迴到進攻者背後卻不被發現。當美軍炮襲或空中轟炸時，他們會像鼴鼠一樣鑽到地下深處。
慄林花了六個月時間監督島上無數防禦工事的建設。在島上的一處修築工事現場，兩名士兵在邊幹邊聊：“喂，今天一個奇怪的高個子大叔來視察我們炮臺了，外表看上去不簡單呀。”慄林1.70米的身高在當時的日本人中的確不能算低。
高平兩用跑
“你看到肩章了嗎？”
“是金色的，有點髒，我不知道是什麼級別。”
“有幾顆星呀？”
“好像兩顆星，中間沒數有幾道槓。”
“笨蛋，那是我們的師團長閣下。全金色並且有兩顆星的肩章，這個島上除了師團長沒有第二個人。”
“不會吧？他說話口氣很溫和呀，還給我煙抽了呢。”
“放屁！誰說師團長就必須粗暴了？難道見了就踹你兩腳的人才能是師團長？”
“聽說師團長上島就取消了將軍餐，和我們吃一樣的飯菜。”
120毫米岸防炮
慄林視察陣地時兜裡總是揣著菸捲，時不時給那些士兵遞上一根，並送上一句“辛苦，拜託了”。他破例作出一項規定，部隊在構築陣地作業時下級不必向上級敬禮。慄林告訴大家：“我們現在挖的這些陣地，最終將成為我們的墳墓。”“要嚴格控制用水，一滴水就是一滴血。”慄林到下邊視察時，禁止下屬用茶水接待他。但是也有例外。一次島上來了一位重要客人，慄林不得不向他奉上一杯充斥著硫磺味的茶水：“非常抱歉，這裡連水都是一股火藥味。即便如此，我一天也只能分到一小杯。”這位客人就是大名鼎鼎的大西瀧治郎中將。
經常有記者前來硫磺島採訪。東京玫瑰對外誇耀說：“硫磺島的守衛者渾身充滿了戰鬥精神！”此言不虛。霍蘭·史密斯中將後來在回憶錄中這樣寫到：“慄林中將重創我軍。他教導士兵以一殺十，寸土不讓。後來當我們審訊那些日軍俘虜時，幾乎每一個人都聲稱見過他們的師團長，一致讚揚慄林將軍是位偉大的統帥，對他佩服得五體投地。他真可以稱得上一代名將。”
機槍掩體
在慄林的親自督促下，日軍地下防禦工事挖得是如此仔細和徹底。在地面上，防禦工事終止於規模宏大的混凝土碉堡。這些碉堡周圍和頂上堆滿了厚厚的土層，用於隱蔽和作為受到炮火打擊時的緩衝物。這種半地下式的陣地儘管犧牲了部分視界，卻大大提高了抗擊猛烈炮擊的能力。慄林共有約800個機槍陣地，包括深挖的迫擊炮坑道，牆壁上粉刷了指南針度數以便於定位。碉堡發射埠是傾斜的，以便炮臺不會被來自海上的火力直接擊中而被摧毀。在構築防禦陣地的過程中，慄林不僅對陣地選點和配置進行具體指導，而且對防禦陣地中的主要工事也要一一檢視，對機槍射擊方向、射擊孔大小及傾斜角度等細節進行研究校正。士兵們經常看到他站在一座碉堡的發射口處，舉起手杖像舉起一把步槍似的向外瞄準。
坑道
比起地上的混凝土碉堡，地下坑道作業才是硫磺島防禦體系真正出神入化的部分。美國海軍陸戰隊官方戰史這樣形容說：“如果說貝里琉之戰日軍將坑道作業發展成了一門藝術，那麼硫磺島的坑道作業就是一門科學。”日軍在北部山區和折缽山下方構建了巨大的地下掩體，從醫院、彈藥庫、藏兵洞到地面火力點一應俱全，每個坑道體系都有眾多出入口和通風口。大部分重武器都被移至山洞或隧道中，以厚重的鋼門遮蔽射擊口，只有開火時才打開。大部分地上工事、火力點以地下坑道連通，哪怕美軍消滅了個別火力點，日軍還是可以透過坑道重新將其佔據，從背後向美軍發起偷襲。島上通訊中心建在地下23米處，必須經過蜿蜒曲折的150米隧道才能到達。
元山機場東部坑道示意圖
最能代表日軍防禦堅固程度的是慄林位於島北地下20米深處的師團指揮部，其地上部分是一個巨型碉堡，頂部鋼筋混凝土厚達3米，四面混凝土牆厚達1.5米。全島制高點折缽山幾乎被掏空，築有坑道九層之多。唯一不足的是，原計劃元山地區將修築28公里坑道工事，因時間緊迫，美軍發起登陸時只完成了70%的18公里，且折缽山和元山地區之間聯絡坑道並未修通，給未來作戰中的通訊聯絡造成了極大困難。
元山炮臺
慄林將主力部隊佈署在北部山區，在元山機場一線佈設主防線，然後在北機場一線依託山脊和山洞佈設第二道防線，另以一部兵力固守南端的折缽山。以駐島九個步兵大隊為基幹，慄林將所有兵力分為6個地區隊：
東地區隊由伯田義信少佐獨立步兵第三一四大隊、井上左馬二大佐海軍硫磺島守備隊的600人組成；北地區隊為獨立混成第十七聯隊藤原環少佐第三步兵大隊；預備隊為第一四五步兵聯隊安武末喜大尉第二大隊、安莊憲瓏少佐第三大隊及西竹一中佐戰車第二十六聯隊。以上幾支部隊由師團司令部直接指揮。
兵力部署
西地區隊為辰己祭夫少佐獨立步兵第三一一大隊；負責中部地區（千鳥機場）的是第一四五步兵聯隊原光明少佐第一大隊；南地區隊為粟津勝太郎大尉獨立步兵第三零九大隊；預備隊是巖谷為三郎少佐獨立步兵第三一零大隊。以上三支部隊由第二混成旅團旅團長千田少將統一指揮。
折缽山地區隊由長田謙次郎大尉獨立步兵第三一二大隊和海軍一部共1860名兵員組成，指揮官為第二混成旅團部附厚地兼彥大佐。
