樓蘭王被漢武帝放回國後，一直不敢再有異動，漢以開陵侯為將，第一次攻車師時，就徵發了樓蘭國兵。漢武帝徵和元年（公元前92年），樓蘭王去世，樓蘭來接在西漢的質子回去繼位，可是這位質子此前觸犯了西漢的法律，受了宮刑，因此西漢就婉言說質子得到天子寵愛，不能回去，讓樓蘭另立老王的其他兒子為王。新立的樓蘭王即位後，同樣對於西漢和匈奴都不敢怠慢，各送了一名質子，在開陵侯率六國兵第二次圍車師一役中，樓蘭仍是參與的六國之一。
沒過多久，新立的樓蘭王又死了，這次匈奴得到訊息後，搶先把樓蘭在匈奴的質子送回國，繼承了王位。新樓蘭王叫做安歸，他按照本地風俗娶了繼母為妻，當西漢要求他入朝時，他的這位妻子對他說，前後樓蘭有兩位質子去了漢，但是都不見回來，你怎麼還能再去呢？這一番話很有說服力，安歸立即放棄了入朝的打算，以自己剛剛即位、國內未定為由，百般拖延，不肯入朝。
西域各國中，樓蘭離漢最近，聲名險惡、缺乏水草的白龍堆就在樓蘭以東不遠的地方，漢使每次往來經過，樓蘭都要負責迎送，充當嚮導，負水擔糧，疲於應付。李廣利在漠北敗於匈奴後，數年來漢軍不再有出塞，樓蘭王安歸就起了異心，暗中與匈奴勾結。
有一次漢光祿大夫王忠出使西域，途中忽然遇到了匈奴人，王忠在激戰中被殺，副使馬宏被生俘。在此前後，還發生過幾次漢使遭到匈奴截殺的事件，西漢朝廷疑心都是樓蘭在暗中向匈奴人通風報信。除此之外，還有安息、大宛來漢的使者也都被害，使者所攜的印節、財物等被搶掠一空。
漢武帝去世後，繼承皇位的漢昭帝年紀還小，朝廷大事掌握在大臣霍光、上官桀等人的手裡。霍光是名將霍去病的異母弟弟，上官桀是隴西人，以勇力聞名，跟隨李廣利遠征大宛時，以“敢深入”有功，後來輾轉做到左將軍，和霍光一起成為了輔政大臣。霍光等人輔佐幼主登基，專心於穩定國內政局，對外暫時採取了謹慎守邊的政策。在漠北躲避了很長時間的匈奴人，這時候又重新活躍起來，在漢武帝去世後的當年冬天，匈奴人就入侵朔方，殺害百姓，西漢朝廷為此發兵屯邊，同時以上官桀巡行邊境，加強防備。
匈奴的狐鹿姑單于這時候也去世了，他遺囑傳位給弟弟右谷蠡王，然而匈奴顓渠閼氏違背單于遺囑，另外立狐鹿姑之子左谷蠡王當上了單于，即壺衍鞮單于。壺衍鞮單于知道自己得國不正，害怕人心不附，就尋求與西漢緩和關係，為此他放回了許多被扣押在匈奴的漢使，包括上面說到的在去西域途中被俘的馬宏，還有出使匈奴遭扣的蘇武、常惠等人。
說起蘇武，他早在漢武帝天漢元年（公元前100年）時奉命出使匈奴，因為一同出使的人中，有人捲入了匈奴內部的叛亂，導致所有人都被匈奴囚禁。匈奴人氣勢洶洶地把蘇武召來問罪，蘇武不為所屈，因為擔心辱及使命，他拔出佩刀刺向了自己，這讓匈奴人大吃了一驚，急忙上前抱住他，叫來醫生診治。蘇武氣絕半晌後才復甦，隨從的常惠等人流著淚，把他抬了回來。匈奴人想逼使蘇武投降，想盡辦法都未能奏效，就把他發配到了偏遠的北海（今貝加爾湖）牧羊。一年一年過去了，蘇武帶來的使節上的旄尾都落盡了，他仍然時時手執著光禿禿的使節，晝夜不離身，以表明他堅貞不屈的氣節。壺衍鞮單于來議和時，西漢朝廷立即提出了放回蘇武等人的要求。匈奴詭稱蘇武已死，同被囚禁在匈奴的常惠知道這個訊息後，就買通看守自己的匈奴人，夜裡去見漢使，把實情都告訴了他，並且教他說，再見到單于時就說，漢家天子在上林苑打獵，射下一隻大雁，它的腳上繫有布帛，上面寫著蘇武等在某大澤中。漢使見到單于後，就如此這般地說了，單于和左右聽了，都是大驚失色，以為是有天意相助，使得遠在北海的蘇武能夠把資訊送去長安，匈奴人不敢再行隱瞞，如實承認說：蘇武等人還活著。漢昭帝始元6年（公元前81年），除去投降和病死在匈奴的，蘇武等一起回來的共有十人，這時候距離他們出使已經有一十九個年頭。蘇武壯年出使，再回來時已經是須發俱白，他被朝廷任命為典屬國，即負責少數民族事務的官職，常惠等三人被拜為中郎，其餘六人則賜錢回鄉養老。
蘇武塑像
西漢這一期間雖然不再主動進攻匈奴，可是邊塞上的警戒性很高，匈奴人小規模的入侵擾邊鮮有收穫。蘇武、常惠等人回國的第二年，匈奴人偵察到西漢在酒泉、張掖的戍卒不多，經過一番謀劃，右賢王、犁於王率領了四千騎兵，分成三路，侵入到張掖郡內。沒想到西漢朝廷提前獲得情報，已經命令各郡做好了準備，結果入侵的匈奴人被打得大敗，犁於王被射殺，其餘逃脫的只有數百人，從這以後，匈奴再也不敢入侵河西了。
霍光與上官桀共同輔政了六七年後，兩人之間發生了權力鬥爭，上官桀失敗被殺，霍光得以獨攬大權。國內形勢趨於穩定後，霍光開始關注起西域的事務，他重新考慮被漢武帝擱置的輪臺屯田一議，任命原扞彌太子賴丹為校尉將軍，前往輪臺屯田。
賴丹原是杅彌國的太子，被送到龜茲作為質子。龜茲所在之地，是塔里木盆地北緣一片較大的綠洲，這裡水源相對豐富，桑弘羊建議的屯田之地輪臺就在龜茲東邊。因此在西域城郭諸國中，龜茲是人口最多、實力最強的一個國家，對其周邊各國也有著不小的影響力。
龜茲同時位於西域北道上，漢使往來烏孫、大宛都要經過龜茲。李廣利遠征大宛回來時，在龜茲看到了在這裡為質的賴丹，李廣利認為龜茲、杅彌都是漢的屬國，龜茲怎麼能擅自接受它國的質子，因此就把賴丹帶回了西漢。
現在賴丹受命來到離龜茲不遠的輪臺屯田，立即引起了龜茲的不滿，一位叫做姑翼的貴族對龜茲王說：“賴丹本來是我國的藩屬，現在佩戴著漢家的印綬，逼近我國來屯田，勢必有害於我國。”龜茲王聽信了姑翼的話，悍然攻殺了賴丹。
不過龜茲無意與西漢為敵，殺害賴丹後，龜茲王立即上書西漢謝罪，這時候遇到傅介子奉使大宛，西漢朝廷就讓他在途經樓蘭、龜茲時調查他們殺害漢使的罪行。
傅介子首先到了樓蘭，樓蘭王安歸把殺害漢使的責任都推到了匈奴人身上。傅介子就責問他，如果你沒有把漢使的行蹤透露給匈奴的話，那麼匈奴使者往來經過，你為什麼不向漢報告？樓蘭王無言以對，只能表示服罪，說匈奴的使者剛剛途經這裡，應該會取道龜茲前往烏孫。
到了龜茲後，傅介子責問他們殺害賴丹的罪行，龜茲國王同樣表示服罪。等到傅介子從大宛回來時，龜茲王主動報告說，從烏孫回來的匈奴使者就在龜茲，傅介子當機立斷，率領手下襲殺了匈奴使者。
傅介子回到國內後，向霍光報告說：“樓蘭、龜茲反覆無常，如果不給予懲罰，就對他人沒有警示。我路過龜茲的時候，看到龜茲王很容易接近，警衛也不嚴，我願意前往刺殺他，以此威懾各國。”霍光對此回答說：“龜茲道遠，不妨先在就近的樓蘭一試。”
於是傅介子帶領了一批死士，攜帶大量財物，揚言奉了朝廷的命令，前往西域賞賜各國。到了樓蘭後，樓蘭王安歸對傅介子不怎麼親近，傅介子也假裝不在意，佯稱要繼續西行，走到邊界上時，故意露出所帶的財物給樓蘭人看，說如果樓蘭王不來接受這些財物，他只能帶去西邊各國，賞賜給別人了。這一招果然有效，收到報告的安歸，抵擋不住利誘，跑來與傅介子會面。這次會面的氣氛很好，兩人把酒言歡，喝到高興時，傅介子以有機密相告為由，把安歸引入內帳，埋伏在帳中的兩名壯士立即揮刀，刺死了安歸。傅介子出來向驚慌中的樓蘭國人宣佈：“安歸犯下了大罪，漢家天子派我來誅殺他，另外立你們在漢的太子為王。漢軍馬上就到，你們不要輕舉妄動，否則就有滅國之災！”樓蘭國人被傅介子大膽的舉動震懾住了，無人敢動，聽任傅介子帶著樓蘭王的頭顱揚長而去。
傅介子無需興師動眾，犯險深入敵國，斬下屢次殺害漢使的樓蘭王安歸的首級歸來，他的這一壯舉，立即震動了朝野，朝廷對他進行了表彰，封他為義陽侯，傅介子從此就成了後世許多人的榜樣，“樓蘭”也成了後世詩人們用來作為敵國的代稱，如唐代王昌齡就有詩云：青海長雲暗雪山，孤城遙望玉門關。黃沙百戰穿金甲，不破樓蘭終不還。
傅介子塑像
不過，樓蘭這個國名在這之後就不再存在了。安歸有一個弟弟叫做尉屠耆的，一直身在長安，西漢送尉屠耆回樓蘭為王，並把樓蘭的國名改成了鄯善。尉屠耆擔心自己長期在漢生活，在國內沒有根基，難以穩住局勢，因此提出建議，說樓蘭國中有一伊循城，土地肥沃，適合農耕，希望西漢派人前往屯田，作為他的後援。西漢答應了尉屠耆的請求，派遣司馬一人、吏士四十人，前往伊循屯田，這就是後來伊循都尉的前身。
這一年是漢昭帝元鳳四年（公元前77年），從這一年起，南道門戶上的樓蘭，現在叫做了鄯善，就被牢牢地控制在了西漢的手中。
