sponsored links

解碼百融雲創Indra平臺:看隱私計算如何打破資料孤島

當前,隱私計算融合了人工智慧、密碼學、區塊鏈以及計算晶片等一系列軟硬體技術,有助於實現多方資料“可用不可見”,已成為打破資料壁壘釋放資料價值的關鍵技術解決之道。其技術特點及應用前景受到了大型金融機構、科技公司、網際網路巨頭、政府部門等各行業廣泛關注。

作為一家致力於探索人工智慧和大資料在金融領域應用的科技企業,百融雲創始終注重大資料應用過程中的資料安全與隱私保護。近年來,百融雲創人工智慧專家從隱私集合求交集、聯邦學習等技術方向入手,結合大資料具體應用場景需求,搭建起了隱私保護計算平臺Indra,為金融大資料應用過程中保障資料可用性和隱私性給出了創新解法。

一.隱私計算關鍵技術

資料的分析處理全生命週期可分為資料輸入、計算、結果三個環節,當下市面上的隱私計算技術體系普遍依據這一原則進行構建。大體上,隱私計算包括差分隱私、同態加密、多方安全計算、零知識證明、可信執行環境、聯邦學習等技術。

聯邦學習

聯邦學習(Federated Learning, FL),是由兩個或以上參與方共同參與,在保證各資料方的原始資料不出庫的前提下,協作構建並使用機器學習模型的人工智慧技術。聯邦學習能有效幫助多個機構在滿足使用者隱私保護、資料安全和政府法規的要求下,進行資料使用和機器學習建模。聯邦學習實際上是一個綜合性的技術組合,底層融合了多種機器學習演算法和隱私保護的運算元,如安全多方計算的多種協議和差分隱私,都可以被用於聯邦學習。

聯邦學習的原理是透過構建一個計算網路,使客戶可以在自己的終端透過使用本地資料對模型進行訓練,並將模型的更新內容進行上傳彙總,將不同終端的模型更新進行融合,以此最佳化預測模型,客戶終端再將更新後的模型下載到本地,並不斷重複這一過程。在整個過程中,終端資料始終儲存在本地,來避免資料洩露的風險。

根據資料集的分佈特點,聯邦學習可分為橫向聯邦學習、縱向聯邦學習與聯邦遷移學習。百融雲創Indra平臺主要針對應用場景更豐富的縱向聯邦學習,比如同一個地區的銀行和電商,他們使用者重疊較多;但是,由於銀行記錄的都是使用者的收支行為與信用評級,而電商記錄的是使用者瀏覽與購買歷史,因此使用者特徵重疊較少。

安全多方計算

安全多方計算,顧名思義, 是在保證多個參與方獲得正確計算結果的同時,無法獲得計算結果之外的任何資訊,從而保證各方資料的安全和私密。安全多方計算技術包括秘密共享(secret sharing)、不經意傳輸(oblivious transfer)、混淆電路(garbled circuit)、隱私集合求交集(private set intersection), 隱私資訊檢索(privacy information retrieval)等關鍵計算協議。

安全多方計算的優勢在於,各參與方對其所擁有的資料擁有絕對的控制權,保證基本資料和資訊不會洩露。然而,目前安全多方計算技術包含複雜的密碼學操作,計算開銷較大,需要付出很大的效能代價。此外,針對特定問題和場景,還需要設計專用協議。另外,該技術的落地還受到網路頻寬、延遲等因素制約。因此,提升計算效率,降低實施方案設計複雜度,與此同時拓展技術落地場景,將是未來安全多方計算在產業應用的最佳化和發展方向。

二.解碼百融雲創Indra平臺

目前Indra平臺包含基於OT的PSI和聯邦學習兩大部分。

解碼百融雲創Indra平臺:看隱私計算如何打破資料孤島


對於PSI,Indra平臺採用基於OT和基於公鑰兩種形式。兩種PSI演算法分別適用於合作方資料集和客戶資料集差不多大、合作方資料集遠遠大於客戶資料集兩種情形。Indra平臺的PSI演算法既適用於普通的求交集計算,也適用於聯邦學習的訓練和預測階段。百融雲創作為管理中心可以提供多方(不僅僅是兩方)資料集合求交集。

Indra平臺還將與區塊鏈技術結合起來,為合作方提供資料確權服務,實現資料價值流轉。同時區塊鏈還可以為Indra平臺提供公平、透明、合理的激勵分配機制,克服安全多方計算內在的缺陷,充分調動合作方提供高質量資料、誠實參與計算的積極性。

平臺架構圖

整個Indra平臺邏輯上分為管理中心、合作方、客戶三大部分。

管理中心:百融雲創是Indra平臺的管理中心,負責使用者管理、向客戶展示合作方資料集列表、PSI和聯邦學習任務呼叫,以及結果返回。百融雲創既是資料中介機構(管理中心),也是資料提供方(合作方)。即使百融雲創作為管理中心,百融雲創和客戶也無法拿到合作方的資料,充分保護合作方資料的安全。

合作方:大量資料的擁有者,可以將資料集的描述提供給管理中心,等待客戶使用其資料,從資料中獲取價值。

客戶:根據自身需求,選擇管理中心提供的資料集列表向管理中心發起PSI或聯邦學習任務請求,同時向管理中心和合作方支付費用。

解碼百融雲創Indra平臺:看隱私計算如何打破資料孤島


平臺系統流程圖

解碼百融雲創Indra平臺:看隱私計算如何打破資料孤島


1.合作方將資料的ID進行Hash後上傳合作資料集(PSI資料集、聯邦學習資料集)到自己的伺服器,並將合作資料集的相關描述傳送給Indra平臺管理中心;

2.Indra平臺管理中心向客戶展示可用的資料集;

3.客戶選擇合適的資料集,發起相應的任務(PSI任務、聯邦學習訓練任務、聯邦學習預測任務);

4.Indra平臺管理中心分配、排程任務,選擇合適的功能模組;

5.合作方、管理中心、客戶合作完成任務:

5.1當執行PSI任務時,管理中心綜合各匹配結果,合併、生成最終匹配結果,並將結果儲存、記賬、下發,客戶可以展示、下載、解析匹配結果;

5.2.當執行聯邦學習訓練任務時,管理中心產生所需的公私鑰和中間計算結果的解密,合作方、客戶聯合訓練模型,最終合作方和客戶各自得到模型的一部分;

5.3.當執行聯邦學習預測任務時,客戶選擇已有的模型和對應的合作方資料集,透過改進的PSI協議,獲得預測結果。

三、Indra平臺應用場景

Indra平臺為合作方、客戶之間提供了一種安全、高效的資料合作模式,各方在不洩露資料的情況下仍然可以挖掘資料價值,確保資料使用的合規性。

1.黑名單匹配

在多頭借貸名單、黑名單匹配中,客戶往往會查詢多家機構的資料集,以確定借款者是否在多頭借貸名單或黑名單中。在這個過程中,最理想的狀態是除了借貸機構使用者集和黑名單共同的資料之外,其他任何資訊都不會洩露。一種簡單的方法是將各自資料都進行雜湊運算,雜湊值相同的就是共同的資料。但是這樣做就會把雜湊值暴露給對方,如果資料空間不是很大很容易遭到暴力求解。即使透過一些手段增加資料空間,也會造成匹配率下降等問題。

Indra平臺向客戶集中展示多個合作方提供的多頭借貸名單和黑名單,包括歷史匹配率、被匹配次數、匹配效果等資訊。客戶根據這些資訊自由選擇想要匹配的多頭借貸名單或黑名單。事後客戶還可以在Indra平臺上反饋資料集使用情況,以便其他客戶更有針對性地選擇合適的資料集。

2.線上預測

在使用聯邦學習訓練得到最終的模型,往往各參與方只掌握模型的一部分。使用模型時,仍然需要各方聯合起來進行預測。作為客戶的一方並不希望其他參與方知曉預測的使用者ID。比如借貸機構和徵信機構合作預測某個借款人的信用,借貸機構並不想讓對方知道該借款人有借款需求,否則徵信機構可以將借款人的資訊提供給其他借貸機構,所以借貸機構希望在預測借款人信用的同時並不會洩露借款人的資訊。

在預測階段同樣可以使用Indra平臺的PSI元件:參與各方計算各自模型的結果並和ID一一對應起來;客戶在求得使用者ID交集的同時也能獲得該ID對應的各自模型的計算結果,從而可以計算出最終的預測結果。根據PSI的技術特點,在這個過程中,除了客戶之外其他參與方(合作方)均不知道使用者ID交集的資訊,也就無法知道客戶到底預測的是哪個使用者ID。

此外,透過使用Indra平臺的PSI元件,在不向合作方洩露使用者ID的情況下,客戶可以從合作方那兒獲得該使用者ID的其他資訊,如歷史借款次數、借款金額等。

3.聯合建模

為了聯合多方資料集訓練模型,傳統的方法是參與方在本地計算模型,然後將各自的模型提交給第三方,第三方根據這些模型合成一個新的模型。這樣做可以保證各方資料隱私安全,但是第三方可以獲得各方模型,往往模型本身也屬於參與方的核心資產並不希望洩露出去。同時,雖然各參與方的模型基於各自資料集,但是最終合成的模型並不是直接使用各方資料集,所以模型的效果沒有直接使用資料訓練模型的效果好。另一種方法是參與方各自拿出少量的資料放到一起進行模型訓練。這樣做仍然會有少量的資料洩露,而且由於只是少量資料,並不能得到最優的模型。

Indra平臺在聯合建模方面使用聯邦學習技術,模型的訓練直接使用各參與方的資料集,透過PSI、Paillier加密等密碼學技術,保證資料均是在密文狀態下進行訓練。訓練完成之後,參與方除了獲得最終模型外,無法得到其他參與方的任何資料資訊。

4.資料中介

和傳統的資料超市不同,Indra平臺只展示合作方資料集的相關描述,而不會真正擁有合作方的具體資料,解決資料孤島困境,避免非法資料交易,實現資料價值。由於Indra平臺可以充分保護合作方資料安全,合作方將自有資料集的相關資訊(資料本身不出庫),如資料量、欄位、來源、用途等釋出到Indra平臺。Indra平臺將合作方資料集、歷史使用情況等資訊集中展示給客戶。客戶可以根據資料集相關資訊和自身需求,選擇合適的資料集進行匹配、建模或預測等操作。Indra平臺對資料集的使用情況、效果等資訊進行統計,方便後續客戶選擇高質量的資料集,也能激勵合作方提供更優質的資料。

隨著大資料的蓬勃發展,隱私保護技術的逐步透明和普及,互聯互通、技術開源和標準定製,未來兩年將迎來爆發式的發展,極大地賦能金融機構在科技場景的落地,能更好運用隱私保護技術的企業,無疑能夠更好的利用大資料帶來的價值。未來,百融雲創會加大對隱私保護技術的研發和創新,始終引領金融行業的科技創新方向。

分類: 科技
時間: 2021-08-05

相關文章

中國AI金融創新引全球關注哈佛案例庫收錄百融雲創模式

中國AI金融創新引全球關注哈佛案例庫收錄百融雲創模式
中國AI金融創新引全球關注 哈佛案例庫收錄百融雲創模式### 中國在AI+金融領域的創新加速,不斷引起全球關注.近日,由清華五道口金融學院副院長.教授張曉燕與哈佛商學院教授勞倫·科恩(Lauren C ...

矩陣元與華控清交攜手探索隱私計算平臺間資料互聯互通
本報見習記者 張博 近日,基於資料高效流通.技術互聯互通的願景與目標,隱私計算領域代表性企業矩陣元和華控清交展開戰略合作,在隱私計算平臺間的資料互聯互通等方面通力合作,共同努力打破因隱私計算技術差異造 ...

雲報觀察丨看春城的生物多樣性

雲報觀察丨看春城的生物多樣性
來自西伯利亞的紅嘴鷗 連續30多年 與昆明甜蜜約會不間斷 尋甸橫河梁子 成為黑頸鶴東部種群 地球最南端的越冬棲息地 滇池溼地首次發現 世界極度瀕危珍稀鳥類 青頭潛鴨"造訪" 一度瀕 ...

百信銀行開放銀行平臺完成首批“監管沙箱”創新試點測試
本報記者 李冰 近日,百信銀行自主研發的開放銀行平臺AIBANK Inside產品率先完成央行首批金融科技"監管沙箱"創新試點全流程閉環測試,成為首批成功"出箱" ...

青雲科技全象雲低程式碼平臺賦能企業數字應用構建提速
低程式碼平臺和技術並不是最近突然出現的.在過去幾年中,很多技術公司已經花費大量人力.物力來研發低程式碼開發平臺.當今低程式碼平臺技術越來越成熟,相關解決方案也傳遞給越來越多的使用者.對於行業內的人來說 ...

抗戰初期,中國軍隊為何干不過日本兵,看完這4組資料你就知道了

抗戰初期,中國軍隊為何干不過日本兵,看完這4組資料你就知道了
很多人都會提出這樣一個問題,中國地大物博人多,小小的日本竟能在中國的地頭上橫行霸道那麼多年,如果中國人全都聯合起來,用口水都能把他給淹死了. 可是,也只有真正懂得戰爭的人才明白:戰爭是物質的衡量,是交 ...

港股早知道|恆大財富緊急啟動實物兌付 微信正式宣佈開放外鏈

港股早知道|恆大財富緊急啟動實物兌付 微信正式宣佈開放外鏈
[全球市場] 美東時間上週五,美股三大指數集體收跌,標普500指數創近一個月新低.截止收盤,道指收跌166.44點,跌幅為0.48%,報34584.88點:納指收跌137.95點,報15043.97點 ...

智通港股回購統計|10月12日
智通財經APP資料顯示,天安(00028).第一太平(00142).世紀城市國際(00355).中國燃氣(00384).旭日企業(00393).亞倫國際(00684).民銀資本(01141).億勝生物 ...

智慧城市時代已到 路燈發展與時俱進

智慧城市時代已到 路燈發展與時俱進
"人們聚集到城市是為了生活,他們停留在城市是為了生活得更美好."這是古希臘哲學家亞里士多德的一句名言.而"智慧城市"的開啟無疑將這種"更美好" ...

專訪星雲CEO陳沫:銀行本質上是一門風險生意,建立反欺詐機制、做好信用稽核是風控重要環節

專訪星雲CEO陳沫:銀行本質上是一門風險生意,建立反欺詐機制、做好信用稽核是風控重要環節
每經記者:肖世清 每經編輯:廖丹 作為高度數字化的行業,金融業對資料的收集使用不亞於任何行業,但隨之而來的"個人資訊洩露"等問題也被監管屢屢提及到.金融機構要給使用者提供個性化.精 ...

7000字長文乾貨分享!華為數字化轉型與資料管理實踐

7000字長文乾貨分享!華為數字化轉型與資料管理實踐
本文涉及的完整資料PDF已幫你備好,可移步文末獲取 2017年華為提出了企業的新願景:"即把數字世界帶入每個人.每個家庭.每個組織,構建萬物互聯的智慧世界".同時, 華為公司提出了 ...

三百雲榮登“2021IDC中國FinTech 50”榜單

三百雲榮登“2021IDC中國FinTech 50”榜單
9月17日,由IDC中國主辦的"開放·重構·共生--2021 IDC中國數字金融論壇"主題活動在北京成功舉行.活動現場,備受關注的"2021IDC中國FinTech 50 ...

《鴻蒙蝴蝶雲老百姓身邊的雲平臺》
蝴蝶雲廣告DSP系統(又名蝴蝶雲廣告智慧平臺),是遊歷在鴻蒙雲生態中貫穿百業的核心專案.它採用自主智慧財產權雲計算.大資料創新技術,以實現線上線下廣告媒體資源整合.廣告主全面參與的數字化場景.讓全國各 ...

安迅破局:首次公開雲倉撮合計劃、加速平臺開放賦能
當快遞頭部企業集體深陷價格戰困境遇上產業網際網路變革的東風,誰能率先完成從物流公司到高質量物流平臺的飛躍?一場對於綜合實力的比拼已然打響. 9月24日,在深圳舉辦的"供應鏈&合同物流 ...

普洱熙康雲舍半山酒店,輕啟山水之間的“健康”名片

普洱熙康雲舍半山酒店,輕啟山水之間的“健康”名片
來源:雲南日報 懷抱浪漫的山巔,探索幽深的叢林,放慢腳步,在雲南普洱的半山之上,感受熙康雲舍健康度假酒店(普洱熙康雲舍半山酒店)的療愈魅力,感受科技和自然的交融,在無人打擾的山水之間,不斷對身心進行探 ...

硬科技投向標|小米產業基金投資車規級MCU企業雲途半導體 寧德時代擬投135億元擴產
<科創板日報>18訊,本週,硬科技領域投融資重要訊息包括:元戎啟行獲3億美元融資,阿里戰略領投:靈明光子完成數千萬元B1輪融資:傳寧德時代擬3.77億加元收購加拿大鋰業公司等. >& ...

一週科創要聞(9月13日-19日)
[1]科技部.國開行:力爭專題債為科技成果轉化提供融資100億元以上 9月18日,科技部辦公廳.國家開發銀行辦公室釋出<關於開展重大科技成果產業化專題債有關工作的通知>,提出將圍繞重大科技 ...

融資丨「StreamNative」完成2300萬美元A輪融資,助力企業加速雲原生和數字化程序
創業邦獲悉,雲原生批流融合資料平臺 StreamNative 宣佈獲得 2300 萬美元 A 輪融資,本輪融資由沙特阿美旗下多元化風投基金 Prosperity7 Ventures 與華泰證券旗下華泰 ...

外賣印表機哪個好?看完這篇測評你就知道

外賣印表機哪個好?看完這篇測評你就知道
想買外賣雲印表機卻不知道哪款更好用? 別急,先跟小編一起來看下四款最熱門的雲印表機的體驗測評吧! 先上產品基本資訊,本次參與測評的四款機器分別是: 1.大紅飯盒款: 2.大黃黑色款: 3.大趨熊貓款: ...