今天，我們來聊一道常見的考題，也出現在騰訊面試的三面環節，非常有意思。具體的題目如下：
檔案中有40億個QQ號碼，請設計算法對QQ號碼去重，相同的QQ號碼僅保留一個，記憶體限制1G.
這個題目的意思應該很清楚了，比較直白。為了便於大家理解，我來畫個動圖玩玩，希望大家喜歡。
能否做對這道題目，很大程度上就決定了能否拿下騰訊的offer，有一定的技巧性，一起來看下吧。
在原題中，實際有40億個QQ號碼，為了方便起見，在圖解和敘述時，僅以4個QQ為例來說明。
方法一：排序
很自然地，最簡單的方式是對所有的QQ號碼進行排序，重複的QQ號碼必然相鄰，保留第一個，去掉後面重複的就行。
原始的QQ號為：
排序後的QQ號為：
去重就簡單了：
可是，面試官要問你，去重一定要排序嗎？顯然，排序的時間複雜度太高了，無法透過騰訊面試。
方法二：hashmap
既然直接排序的時間複雜度太高，那就用hashmap吧，具體思路是把QQ號碼記錄到hashmap中：
mapFlag[123] = true
mapFlag[567] = true
mapFlag[123] = true
mapFlag[890] = true由於hashmap的去重性質，可知實際自動變成了：
mapFlag[123] = true
mapFlag[567] = true
mapFlag[890] = true很顯然，只有123，567，890存在，所以這也就是去重後的結果。
可是，面試官又要問你了：實際要存40億QQ號碼，1G的記憶體夠分配這麼多空間嗎？顯然不行，無法透過騰訊面試。
方法三：檔案切割
顯然，這是海量資料問題。看過很多面經的求職者，自然想到檔案切割的方式，避免記憶體過大。
可是，絞盡腦汁思考，要麼使用檔案間的歸併排序，要麼使用桶排序，反正最終是能排序的。
既然排序好了，那就能實現去重了，貌似就萬事大吉了。我只能坦白地說，高興得有點早哦。
接著，面試官又要問你：這麼多的檔案操作，效率自然不高啊。顯然，無法透過騰訊面試。
方法四：bitmap
來看絕招！我們可以對hashmap進行最佳化，採用bitmap這種資料結構，可以順利地同時解決時間問題和空間問題。
在很多實際專案中，bitmap經常用到。我看了不少元件的原始碼，發現很多地方都有bitmap實現，bitmap圖解如下：
這是一個unsigned char型別，可以看到，共有8位，取值範圍是[0, 255]，如上這個unsigned char的值是255，它能標識0~7這些數字都存在。
同理，如下這個unsigned char型別的值是254，它對應的含義是：1~7這些數字存在，而數字0不存在：
由此可見，一個unsigned char型別的資料，可以標識0~7這8個整數的存在與否。以此類推：
- 一個unsigned int型別資料可以標識0~31這32個整數的存在與否。
- 兩個unsigned int型別資料可以標識0~63這64個整數的存在與否。
顯然，可以推匯出來：512MB大小足夠標識所有QQ號碼的存在與否，請注意：QQ號碼的理論最大值為2^32 - 1，大概是43億左右。
接下來的問題就很簡單了：用512MB的unsigned int陣列來記錄檔案中QQ號碼的存在與否，形成一個bitmap，比如：
bitmapFlag[123] = 1
bitmapFlag[567] = 1
bitmapFlag[123] = 1
bitmapFlag[890] = 1實際上就是：
bitmapFlag[123] = 1
bitmapFlag[567] = 1
bitmapFlag[890] = 1然後從小到大遍歷所有正整數(4位元組)，當bitmapFlag值為1時，就表明該數是存在的。
而且，從上面的過程可以看到，自動實現了去重。顯然，這種方式可以透過騰訊的面試。
擴充套件練習一
檔案中有40億個互不相同的QQ號碼，請設計算法對QQ號碼進行排序，記憶體限制1G.
很顯然，直接用bitmap, 標記這40億個QQ號碼的存在性，然後從小到大遍歷正整數，當bitmapFlag的值為1時，就輸出該值，輸出後的正整數序列就是排序後的結果。
請注意，這裡必須限制40億個QQ號碼互不相同。透過bitmap記錄，客觀上就自動完成了排序功能。
擴充套件練習二
檔案中有40億個互不相同的QQ號碼，求這些QQ號碼的中位數，記憶體限制1G.
我知道，一些刷題經驗豐富的人，最開始想到的肯定是用堆或者檔案切割，這明顯是犯了本本主義錯誤。直接用bitmap排序，當場搞定中位數。
擴充套件練習三
檔案中有40億個互不相同的QQ號碼，求這些QQ號碼的top-K，記憶體限制1G.
我知道，很多人背誦過top-K問題，信心滿滿，想到用小頂堆或者檔案切割，這明顯又是犯了本本主義錯誤。直接用bitmap排序，當場搞定top-K問題。
擴充套件練習四
檔案中有80億個QQ號碼，試判斷其中是否存在相同的QQ號碼，記憶體限制1G.
我知道，一些吸取了經驗教訓的人肯定說，直接bitmap啊。然而，又一次錯了。根據容斥原理可知：
因為QQ號碼的個數是43億左右(理論值2^32 - 1)，所以80億個QQ號碼必然存在相同的QQ號碼。
海量資料的問題，要具體問題具體分析，不要眉毛鬍子一把抓。有些人完全不刷題，肯定不行。有些人刷題後不加思考，不會變通，也是不行的。好了，先說這麼多。我們也會一步一個腳印，爭取每篇文章講清講透一件事，也希望大家閱讀後有所收穫，心情愉快。
