（映維網 2021年12月30日）作為生命體徵的五大要素之一，監測人體體溫具有重要的醫學意義。臨床監測的實時體溫變化與每日平均體溫讀數，對於患者的病情診斷與後續的治療非常關鍵。另外，體溫同時是人類生命健康與否的最直接標誌之一。在一個簡單的示例中，體溫升高或者對應於人體發燒。
隨著沉浸式技術的興起，諸如HoloLens等頭顯越發普及，並正不斷應用於醫療等領域。由於這種裝置一般搭載熱成像攝像頭，深度攝像頭和可見光攝像頭等多種元器件，所以行業正在思考如何充分地利用這一點。比方說，將熱成像攝像頭用於體溫判斷。
日前，美國專利商標局公佈了與HoloLens監測判斷體溫相關的三份專利申請。
1.透過熱強度分佈的體溫估計
相關專利：Microsoft Patent | Body temperature estimation via thermal intensity distribution
體溫可透過任何合適的方式進行估算。在一個示例中，可以透過熱成像攝像頭捕獲的熱影象來估計判斷人體體溫。在一個示例中，真實世界環境的熱影象可由熱攝像頭捕獲，熱影象具有熱影象的多個畫素中的每個畫素的熱強度值，其包括與人體物件相對應的畫素。在一個示例中，熱攝像頭可以整合到頭戴式顯示裝置中，或者可以是獨立攝像頭或單獨攝像頭系統的元件。熱影象的熱強度值對真實環境物件發射並由熱攝像頭接收的熱能量進行編碼。以這種方式，可以基於熱影象中的物件的對應熱強度值來估計現實世界環境中物件的相對溫度。
但是，熱影象的熱強度值是編碼環境物件的相對溫度，而不是絕對溫度。另外，熱攝像頭的效能通常受到諸多因素的影響，包括環境溫度。所以，在沒有獨立參考的情況下，很難或不可能將任何特定的熱強度值與溫度值關聯起來。
在名為“Body temperature estimation via thermal intensity distribution”的專利申請中，微軟希望透過熱強度分佈來估計人體體溫。
圖2描述了具體的方法。在202，方法200包括經由熱攝像頭接收真實環境的熱影象，熱影象包括熱影象的多個畫素中的每個畫素的熱強度值。如上所述，熱攝像頭可以整合到執行方法200的一個或多個步驟（除了影象捕獲）的計算裝置中。或者，熱攝像頭可以是獨立的攝像頭，或者是單獨的攝像頭系統的元件。
圖3示意性地描繪了由使用者301穿戴的頭戴式顯示裝置300。頭戴式顯示裝置300包括近眼顯示器，其配置為向用戶的眼睛顯示虛擬影象。近眼顯示器上顯示的虛擬影象可以採用任何合適的形式。在圖3的示例中，頭戴式顯示裝置300正在顯示人體物件的估計體溫的指示305。
頭戴式顯示裝置300同時包括多個攝像頭308、310和312。在一個示例中，攝像頭308可以是熱攝像頭，而攝像頭310是可見光攝像頭，攝像頭312是深度攝像頭。
圖4示意性地示出了一個示例熱影象400。熱影象400描繪了示例人類物件402。具體地，熱影象400包括多個熱強度值404，其對應於熱影象的四個單獨畫素。應當理解，熱影象可以包括任何適當數量的畫素，並且每個畫素可以具有相應的熱強度值。
相對較高的熱強度值可能對應於成像場景中發射相對較多熱能的區域。在圖4中，具有相對較高熱強度值的熱影象400的畫素用相對較淺的陰影表示。因此，可以看出，人類主題402的面部沒有均勻地發射熱能。相反，人臉通常表現出一定程度的溫度變化。例如，人眼周圍的區域溫度通常高於對應於人的鼻子、頭髮、耳朵等的區域。這反映在圖4中，由於相對較高的溫度，人臉部分在熱影象中具有相對較高的熱強度值。
熱影象可以採取包括多個熱強度值的任何適當資料結構的形式，熱強度值反過來編碼攝像頭從環境中的物件接收的熱能。在一個示例中，熱強度值可以採用灰度計數的形式，灰度計數可以具有任何合適的值。例如，灰度計數可以表示為0到255之間的範圍，或者可以使用不同的合適量化。
回到圖2，在204，方法200包括識別人臉在熱影象中的位置。在一個示例中，可在經由第二攝像頭接收到真實世界環境的第二影象之後識別人臉的位置。例如，第二攝像頭可以是可見光照相機，而第二影象可以是可見光影象。該裝置隨後可確定第二影象的畫素與熱影象的畫素之間的對應關係。例如，在識別人臉在第二影象內的位置之後，可以基於兩個影象之間的畫素到畫素的對應來識別人臉在熱影象內的位置。
這在圖5中進行了示意性說明。具體地，圖5再次包括描繪人類物件402的熱影象400。圖5同時包括第二影象500，其同樣描繪了人類物件402。計算裝置識別影象500和影象400之間的多個畫素到畫素對應502。這類通訊可採用任何合適的方式進行識別。熱影象和第二影象可以由具有不同位置和透檢視的不同攝像頭捕獲。當兩個攝像頭的相對位置和透檢視已知時，每個攝像頭捕獲的影象畫素可以投影到公共參考幀中。以這種方式，可以確定一個影象（例如影象500）的哪些畫素對應於與另一個影象（例如影象400）相同的真實世界特徵。因此，當識別出影象500中人臉位置504A時，計算裝置可以確定影象400的哪些畫素對應於熱影象中面部的相同位置504B。
在其他實施例中，可以任何合適的方式識別人臉。例如，可以使用任何合適的人臉識別演算法或技術。例如，一種方法可以包括使用經過機器學習訓練的分類器來識別預測為對應於人臉的影象中的畫素。
回到圖2，在206，方法200包括確定多個人臉的熱強度值的分佈。這參照圖6示意性地示出，圖6示出了另一示例熱影象600。所述熱影象包括多個不同的人類物件602A-602D。在本例中，為了舉例說明，他們似乎具有均勻的熱強度一樣。應理解，這僅是為了解釋說明，在實際場景中，人體不同部分具有可變的熱強度值。
在圖6中，識別人臉位置，並使用與人臉相對應的熱強度值來確定熱強度分佈604。在一個示例中，包括在熱強度分佈中的熱強度值可對應於每個物件的最高強度畫素。這通常對應於每個人類的眼睛或眼睛周圍區域。
在圖6的示例中，多個人體物件中的每一個在同一熱影象600中可見。在其他示例中，用於確定熱強度分佈的多個人體物件中的每一個都可以在不同的熱影象中識別。以這種方式使用熱強度分佈作為參考是基於大多數（如果不是全部）人體具有正常體溫的假設。所以，如果任何人體被識別為具有顯著高於或低於其他人體的熱強度，則可將其作為異常值從熱強度分佈中排除。一旦確定熱強度分佈，可假定分佈內的平均熱強度對應於平均體溫。因此，人體的任何未來熱強度值顯著高於平均值都可能表明發燒。
繼續圖2，在212，方法200包括基於一個或多個測試熱強度值的比較和多個人臉的熱強度值的分佈來報告測試人體受試者的體溫指示，如圖7所示。
具體而言，圖7顯示了測試使用者702臉部的示例熱影象700。計算裝置識別對應於測試人臉的一個或多個畫素的一個或多個測試熱強度值704。可以將測試熱強度值704與熱強度分佈706進行比較，熱強度分佈706可根據上文討論的多個人臉確定。基於這一比較，計算裝置輸出測試人體的估計體溫708。這可以透過任何合適的方式實現。
一個示例中，如上所述，熱強度分佈內的平均熱強度可假定對應於平均人體溫度。可透過比較人體的測試熱強度值與平均熱強度來確定人體體溫的指示。如果測試熱強度值在平均熱強度的閾值相似性範圍內，則可假定試驗人體的體溫大致正常。相反，如果測試熱強度值顯著高於平均熱強度，則可確定試驗人體可能發燒，並可將其報告為人體體溫的指示。
或者，計算裝置可以估計使用者的絕對、數字體溫。例如，熱攝像頭可能具有已知的靈敏度，其可以根據與已知溫度變化相對應的已知熱強度變化來表示。
透過上述方式，系統可以根據熱強度分佈來估計人體體溫。
但是，一系列的因素可能會影響系統估計人體體溫，例如人體與攝像頭的距離，以及人體膚色。在下面兩份專利中，微軟則分別針對人體與攝像頭距離，以及人體膚色這兩個問題提出了相應的校正方案。
2.用於體溫估計的距離校正
相關專利：Microsoft Patent | Distance correction for body temperature estimation
計算裝置可用於估計和報告人體體溫。圖1示出了包括兩名使用者102A和102B的真實環境100。在環境100中，穿戴頭戴式顯示裝置106的使用者104具有視場108。透過近眼顯示器，頭戴式顯示裝置顯示估計體溫的指示112A和112B。
人體體溫的指示可以採用任何合適的形式。在圖1的示例中，可以以數字形式來表示人體的估計體溫。人體體溫可透過任何合適的方式進行估算。可以理解的是，人體內部的體溫在身體的不同部位有所不同。對於微軟專利，其描述的“體溫”主要是指通常用於醫療診斷目的的體溫。
在一個示例中，真實世界環境的熱影象可由熱攝像頭捕獲，熱影象具有熱影象的多個畫素中的每個畫素的熱強度值，包括與可能在環境中的人體物件相對應的畫素。在一個示例中，熱攝像頭可以整合到頭戴式顯示裝置中，或者可以是獨立攝像頭或單獨攝像頭系統的元件，例如攝像頭系統114。熱影象的熱強度值對由真實環境物件發射並由熱攝像頭接收的熱能量進行編碼。以這種方式，可以基於熱影象中的對應熱強度值來估計現實世界環境中物件的相對溫度。
然而，熱攝像頭在特定溫度下接收的熱能量可能取決於物件與熱攝像頭之間的距離，尤其是當攝像頭缺少佈置在其它光學元件之前的輻射計透鏡時。即使在使用輻射測量透鏡，人體和熱攝像頭之間的距離依然可能會影響被攝體在熱影象中的表示方式。例如，隨著熱攝像頭和人體物件之間的距離增加，熱影象的相對較少畫素將用於表示人體物件的相對較大部分。因此，人類的高強度區域可與相對較低強度部分進行平均或二次取樣，從而產生使用者具有整體較低熱強度的錯覺。
在名為“Distance correction for body temperature estimation”的專利申請中，微軟介紹了一種用於人體體溫估計的距離校正技術。
在圖1中，使用者102A和102B與攝像頭的距離不同，因此將呈現一種依賴於距離的強度衰減。例如，這會使在體溫升高（例如與發燒一致）的熱影象中識別判斷使用者變得困難。即使兩個使用者的核心體溫相同，因為兩個不同的使用者與熱攝像頭的距離不同，在熱影象中的記錄方式也不同。類似地，當兩個距離熱攝像頭不同的使用者的體溫顯著不同時（例如一個發燒，一個正常），系統都可能很難辨別。
這份發明主要介紹了基於人類主體與熱攝像頭的識別距離來估計人體溫度的技術。具體地，在識別熱影象內的人臉位置之後，接收人類主體遠離攝像頭的距離指示。然後基於距離，將距離校正因子應用於對應人臉的一個或多個熱強度值。接下來，根據距離校正的熱強度值，報告人體的體溫指示。以這種方式，系統可以更準確地估計人體的體溫。
圖2示出了用於估計體溫的示例方法200。方法200可在具有任何適當形狀因子和硬體配置的任何適當計算系統實施。方法200的步驟可以分佈在任意數量的不同計算裝置之間。
另外，方法200主要針對單個人體進行描述。但應當理解，方法200的步驟可以針對任意數量的人類主體執行。換言之，方法200的每個步驟可針對兩個或多個人類受試者同時執行或順序執行。在方法200應用於兩個或多個人體物件的情況下，每個人體物件與熱攝像頭的距離可能不同。
在202，方法200包括經由熱攝像頭接收真實環境的熱影象，熱影象包括熱影象的多個畫素中的每個畫素的熱強度值。如上所述，熱攝像頭可以整合到執行方法200的一個或多個步驟（除了影象捕獲）的計算裝置中。或者，熱攝像頭可以是獨立的攝像頭，或者是單獨的攝像頭系統的元件。例如，圖1示意性地描繪了示例性相機系統114，其可以至少包括熱攝像頭。攝像頭系統114同時可以包括利用任何技術的其他型別攝像頭。作為示例，攝像頭系統114可以包括熱攝像頭、可見光攝像頭和/或深度攝像頭。
熱攝像頭捕捉真實環境的“熱影象”。圖4示意性地示出了一個示例熱影象400。熱影象400描繪了示例人類物件402。具體地，熱影象400包括多個熱強度值404，其對應於熱影象的四個單獨畫素。應當理解，熱影象可以包括任何適當數量的畫素，並且每個畫素可以具有相應的熱強度值。
相對較高的熱強度值可能對應於成像場景中發射相對較多熱能的區域。在圖4中，具有相對較高熱強度值的熱影象400的畫素用相對較淺的陰影表示。因此，可以看出，人類主題402的面部沒有均勻地發射熱能。相反，人臉通常表現出一定程度的溫度變化。例如，人眼周圍的區域溫度通常高於對應於人的鼻子、頭髮、耳朵等的區域。這反映在圖4中，由於相對較高的溫度，人臉部分在熱影象中具有相對較高的熱強度值。
熱影象可以採取包括多個熱強度值的任何適當資料結構的形式，熱強度值反過來編碼攝像頭從環境中的物件接收的熱能。在一個示例中，熱強度值可以採用灰度計數的形式，灰度計數可以具有任何合適的值。例如，灰度計數可以表示為0到255之間的範圍，或者可以使用不同的合適量化。
回到圖2，在204，方法200包括識別人臉在熱影象中的位置。在一個示例中，可在經由第二攝像頭接收到真實世界環境的第二影象之後識別人臉的位置。例如，第二攝像頭可以是可見光照相機，而第二影象可以是可見光影象。該裝置隨後可確定第二影象的畫素與熱影象的畫素之間的對應關係。例如，在識別人臉在第二影象內的位置之後，可以基於兩個影象之間的畫素到畫素的對應來識別人臉在熱影象內的位置。
這在圖5中進行了示意性說明。具體地，圖5再次包括描繪人類物件402的熱影象400。圖5同時包括第二影象500，其同樣描繪了人類物件402。計算裝置識別影象500和影象400之間的多個畫素到畫素對應502。這類通訊可採用任何合適的方式進行識別。熱影象和第二影象可以由具有不同位置和透檢視的不同攝像頭捕獲。當兩個攝像頭的相對位置和透檢視已知時，每個攝像頭捕獲的影象畫素可以投影到公共參考幀中。以這種方式，可以確定一個影象（例如影象500）的哪些畫素對應於與另一個影象（例如影象400）相同的真實世界特徵。因此，當識別出影象500中人臉位置504A時，計算裝置可以確定影象400的哪些畫素對應於熱影象中面部的相同位置504B。
在其他實施例中，可以任何合適的方式識別人臉。例如，可以使用任何合適的人臉識別演算法或技術。例如，一種方法可以包括使用經過機器學習訓練的分類器來識別預測為對應於人臉的影象中的畫素。
回到圖2，在206，方法200包括接收人類主體和熱攝像頭之間的距離的指示。如前所述，當人類主體和熱攝像頭之間的距離增加時，人類主體在熱影象中可能看起來具有較低的熱強度。這可能是由於熱攝像頭接收較少熱能的事實，或者是因為相對較少的畫素編碼人體的較大部分，因此高強度區域與低強度區域平均。例如，圖1中的人類主體102A和102B與攝像頭的距離不同。因此，即使兩人的核心體溫相同，物件102B在熱影象中的熱強度可能比物件102A小。為了更準確地估計人體物件的體溫，因此可以首先確定人體與熱攝像頭的距離。
可透過任何合適的方式確定人體與熱攝像頭之間的距離。在一個示例中，所述距離可基於深度攝像頭收集的深度資訊來確定。深度攝像頭可以採取任何合適的形式，包括飛行時間深度攝像頭和結構光深度攝像頭。在其他示例中，可以在沒有深度攝像頭的情況下確定熱攝像頭和人類物件之間的距離。例如，可以使用一對立體可見光攝像頭。當存在兩個或多名使用者時，可以透過比較各個使用者頭部的相對大小來估計相對距離。或者，可以使用單個可見光攝像頭，並與經過機器學習訓練的距離估計算法結合使用。作為另一示例，熱攝像頭和人類物件之間的距離可以由人類使用者手動指定。
回到圖2，在208處，方法200包括基於距離，將距離校正因子應用於對應於人臉的一個或多個畫素的一個或多個熱強度值，以給出一個或多個距離校正熱強度值，如6A和6B所示。
計算裝置識別與人臉對應的一個或多個畫素的一個或多個熱強度值602A。在一個示例中，應用距離校正因子的一個或多個熱強度值可對應於描繪人臉的一個或多個最高強度畫素。在大多數情況下，所述畫素可對應於人類物件眼睛周圍的面板和/或眼睛本身，如圖6A所示。但在其他示例中，距離校正係數可應用於被識別為對應於人類主體的任何部分的任何熱強度值。
繼續圖6A，將第一距離校正係數604A應用於第一熱強度值602A，以給出距離校正熱強度值606A。“距離修正係數”可以採用任何合適的形式。通常，應用距離校正因子將包括將熱強度值向上或向下縮放一定量，這取決於人體和熱攝像頭之間的距離。例如，當人類主體相對遠離熱攝像頭時，對應於人臉的熱強度值可放大，使得其與相對靠近熱攝像頭的人類主體更一致。或者，對應於相對靠近熱攝像頭的人體的熱強度值可以縮小，使得它們與相對遠離熱攝像頭的人類主體更一致。
圖6B示意性地示出了與第二人類601B的面部相對應的不同熱影象600B。值得注意的是，第二人類主體601B比第一人類主體601A距離熱攝像頭更遠。因此，在將一個或多個第二熱強度值602B識別為對應於人類物件601B的面部之後，應用第二距離校正因子604B，以給出一個或多個第二距離校正熱強度值606B。由於第一和第二人類主體的距離不同，因此第一和距離校正係數不同。因此，對應於第一和第二人類受試者的第一和第二熱強度值可以基於第一和第二距離校正因子以不同的量縮放。在一個示例中，可以縮放一個人的熱強度值，而不縮放另一個人的熱強度值。
透過上述方式，可以根據距離而來校正熱強度值，並更為準確地報告人體的體溫指示。
3. 用於體溫估計的膚色校正
相關專利：Microsoft Patent | Skin tone correction for body temperature estimation
人體在特定溫度下發出的熱能量取決於物件的熱發射率值。對於人體，人體膚色通常會影響人體在特定體溫下發出的熱能量，因為不同的膚色對應不同的熱發射率值。例如在圖1中，物件102A和102B具有不同的膚色，因此將具有不同的熱發射率值。據估計，面板相對較淺的受試者的熱發射率約為0.95，而面板相對較深的受試者的熱發射率約為0.98。例如，這可能使得難以在體溫升高的熱影象中判斷人體情況，因為即使具有相同的核心體溫，具有不同膚色的兩個不同的使用者在熱影象中的記錄可能不同。同樣，當兩個膚色不同的人體的體溫顯著不同時（例如一個發燒，一個正常），系統都可能很難辨別。例如，如果不考慮膚色，兩個在熱影象中似乎具有相同熱強度的使用者可能具有顯著不同的體溫。例如，一個使用者可能有明顯的發燒，而另一個使用者則是正常。
名為“Skin tone correction for body temperature estimation”的專利申請主要描述了用於體溫估計的膚色校正系統和方法。簡單來說，在識別熱影象中的人臉位置之後，可以識別人臉膚色。然後，基於所識別的膚色，將膚色校正因子應用於對應於人臉的一個或多個熱強度值。基於膚色校正的熱強度值可以報告人體的體溫指示。以這種方式，可以更準確地估計人體的體溫。
如圖2所示，在204，方法200包括識別人臉在熱影象中的位置。在一個示例中，可在經由第二攝像頭接收到真實世界環境的第二影象之後識別人臉的位置。例如，第二攝像頭可以是可見光照相機，而第二影象可以是可見光影象。該裝置隨後可確定第二影象的畫素與熱影象的畫素之間的對應關係。例如，在識別人臉在第二影象內的位置之後，可以基於兩個影象之間的畫素到畫素的對應來識別人臉在熱影象內的位置。
這在圖5中進行了示意性說明。具體地，圖5再次包括描繪人類物件402的熱影象400。圖5同時包括第二影象500，其同樣描繪了人類物件402。計算裝置識別影象500和影象400之間的多個畫素到畫素對應502。這類通訊可採用任何合適的方式進行識別。熱影象和第二影象可以由具有不同位置和透檢視的不同攝像頭捕獲。當兩個攝像頭的相對位置和透檢視已知時，每個攝像頭捕獲的影象畫素可以投影到公共參考幀中。以這種方式，可以確定一個影象（例如影象500）的哪些畫素對應於與另一個影象（例如影象400）相同的真實世界特徵。因此，當識別出影象500中人臉位置504A時，計算裝置可以確定影象400的哪些畫素對應於熱影象中面部的相同位置504B。
在其他實施例中，可以任何合適的方式識別人臉。例如，可以使用任何合適的人臉識別演算法或技術。例如，一種方法可以包括使用經過機器學習訓練的分類器來識別預測為對應於人臉的影象中的畫素。
繼續圖2，在206，方法200包括識別第一人臉的膚色。如上所述，物件在任何給定溫度下發出的熱能量取決於物件的熱強度值。對於人類，不同的膚色對應不同的熱發射率值。例如，圖1中的人類受試者102A和102B具有不同的膚色，因此即使兩人具有相同的核心體溫，其都將發射不同量的熱能。為了更準確地估計人類的體溫，可以首先識別人類的膚色。
膚色可透過任何合適的方式識別。在一個示例中，可以基於如上所述的第二影象（例如可見光影象）中人臉的顏色來識別人類物件的膚色。例如，簡單地返回到圖5，可以基於對應於影象500內人臉的位置504A的畫素顏色來識別人類402的臉部顏色。另外，或者可選地，可以從使用不可見波長的影象來識別人類膚色，例如由深度攝像頭捕獲的影象。作為另一示例，人類物件的膚色可由人類使用者手動指定。
回到圖2，在208處，方法200包括基於所識別的膚色，將膚色校正因子應用於對應於人臉的一個或多個畫素的一個或多個熱強度值，以給出一個或多個經色調校正的熱強度值，如圖6A和6B所示。
計算裝置識別對應於人臉的一個或多個畫素的一個或多個熱強度值602A。在一個示例中，應用膚色校正因子的一個或多個熱強度值可對應於描繪人臉的一個或多個最高強度畫素。在大多數情況下，所述畫素可對應於物件的眼睛和/或物件眼睛周圍的面板，如圖6A所示。
繼續圖6A，將第一膚色校正因子604A應用於第一熱強度值602A以給出色調校正的熱強度值606A。“膚色校正係數”可以採用任何合適的形式。在一個示例中，可以透過將一個或多個熱強度值向上或向下縮放基於所識別的膚色確定的量來應用膚色校正因子。
例如，已估計淺色人類面板的熱發射率值約為0.95，而深色面板的熱發射率約為0.98。因此，對於給定的體溫，膚色較深的人體在熱影象中可能比膚色較淺的人體具有相對較高的熱強度值。因此，應用膚色校正因子可能包括將膚色較淺的受試者的熱強度值向上縮放，使其與膚色較深的受試者更一致。或者，深色面板的人體的熱強度值可以縮小，以便它們與淺色面板的人體受試者更一致。作為另一個例子，所有人類的熱強度值可按可變數放大，以給出與膚色中性熱發射率值一致的熱強度值。
在一個實施方案中，可針對不同的特定膚色預先確定膚色校正係數。例如，計算裝置可以維護查詢表或類似的資料結構，其中查詢表或類似資料結構定義了用於多個不同膚色的多個膚色校正因子。或者，可以基於特定人類的特定識別膚色動態地計算膚色校正因子。
圖6B示意性地示出了與第二人類物件601B的面部相對應的不同熱影象600B。值得注意的是，儘管從熱影象上看不明顯，但第一和第二使用者601A和601B具有不同的膚色。因此，在一個或多個第二熱強度值602B被識別為對應於人類受試者601B的面部之後，應用第二膚色校正因子604B，給出一個或多個第二色調校正熱強度值606B。因為第一和第二使用者的膚色不同，所以第一和第二膚色校正因子不同。因此，對應於第一和第二使用者的第一和第二熱強度值可以基於第一和第二膚色校正因子以不同的量縮放。
如上所述，系統可以透過應用膚色校正來更為準確地判斷和報告人體體溫。
上述三份微軟專利申請最初都在2020年6月提交，並在日前由美國專利商標局公佈。
