2021年,分散式雲成為雲計算領域關注的熱點。經過一年時間的探索與沉澱,分散式雲開始從理論走向實踐,諸多雲計算頭部企業夯實分散式基礎設施建設、最佳化分散式資源排程、開發分散式應用,為構建分散式雲打下了堅實的基礎。
12月15日,以“引領分散式雲變革 助力灣區數字經濟”為主題的全球分散式雲大會在深圳隆重召開,本屆大會由全球分散式雲聯盟、深圳科技交流服務中心、深圳市通訊學會、眾視Tech聯合主辦。組委會攜手阿里雲、騰訊雲、Google Cloud、華為雲、螞蟻集團、浪潮雲、金山雲等海內外頂尖雲計算團隊和分散式雲先鋒企業,為粵港澳大灣區數字經濟發展注入分散式雲動力,更將中國分散式雲計算發展推上全新高度!
在16日下午舉辦的分散式安全儲存論壇上,亞馬遜雲科技 高階產品解決方案架構師 崔俊傑,發表了題為《安全從雲邊緣做起》的精彩演講。
如今網路環境面臨著越來越高量級的攻擊,攻擊方成本降低而T級別攻擊頻繁發生,2020年記錄到了2.3T級別的攻擊,今年這一記錄又被重新整理,未來隨著計算資源頻寬增長,新的攻擊記錄一定也不會距離我們太遠。
在亞馬遜雲科技看來,安全能力包括基礎效能、效率、應用的彈性應對能力、冗餘以及各種應用系統的隔離(縮小安全爆炸半徑)。
亞馬遜雲的安全是無處不在的,直接體現在提供的安全產品上。目前,亞馬遜雲擁有五大類別近30款安全產品,五大類別包括訪問控制、安全檢測、設施保護、資料保護、事件響應、合規,事無鉅細,覆蓋全面。
亞馬遜雲邊緣安全專家 崔俊傑,從離終端使用者最近的位置,講解亞馬遜雲的安全經驗。在遍佈在全球的節點上,首先要有Shield防禦,再有WAF,保護分佈在全球近300多個分佈節點。經過邊緣CDN產品CloudFront,保護亞馬遜雲上資源。
邊緣安全的第一道防線——Shield,也就是防禦DDOS的設施。在最初,亞馬遜雲科技使用的是採購的防禦裝置,它是手工的,無法作為對外出售的產品。
當時在建立DDoS防禦產品的時候,Shield服務的發起人做了非常困難的一個決定:不能採取類似於清洗中心這種集中式的設計,因為流量的走向不是那麼直接。這就意味著需要在每個PoP節點都安排DDoS防禦服務叢集的設施。
最後,亞馬遜雲科技選擇自研叢集完成這一目標,而這些叢集需要用一個“腦袋”來指揮,300多個遍佈全球的節點都是非常大體量的 DDoS防禦節點,需要用一個“大腦”指揮,難度極高,但團隊最終完成了目標。亞馬遜雲科技的客戶得以享受T級別DDoS防禦能力。亞馬遜雲科技 DDOS防禦容量伴隨雲設施共同擴充套件。全球設施的防禦設施總容量超過100T,並在不斷增長中。
第二個保護邊緣的產品是Route53的DNS的託管服務,最值得稱道的是它的隔離分佈管理能力。崔俊傑說,建立一個DNS託管域你會得到4個伺服器派別組(stripe),每一個派別組都有不同的頂級域名,有自己獨立的運維流程,在給使用者分配不同的伺服器提供DNS服務時,亞馬遜雲科技使用了類似於洗牌(shuffle sharding)的技術,使得每2個使用者重複使用一臺伺服器的可能性降到一個非常低的程度,這樣一來,萬一有一個使用者被攻擊,其他相鄰的使用者服務不會受到影響。
在實踐過程中,無論是CDN產品還是Route53,經常發現一個攻擊出現,一組伺服器被攻陷的情況,攻擊轉向備用伺服器,備用伺服器就垮了。洗牌技術就是為了這種情況來發明的。當然對運維人員來說,這會帶來一些運維的額外工作,在確定哪臺伺服器服務特定客戶時,往往需要經過技術人員透過資料庫檢查,才能找到所有維護路徑。這一過程儘管繁瑣,但帶來的價值就是讓Route53儘可能達到服務可靠性100%的SLA。亞訊雲科技深知,DNS的安全非常重要,一旦遭受攻擊,帶來的影響會非常大。
在運維流程方面,亞馬遜雲科技嚴格遵守流程隔離的準則,簡單說就是永遠不要在同一時刻改動兩個資料中心的策略,對於Route53,具體來說就是:永遠不會同一時刻去改變兩個伺服器派別組,使用這樣嚴格策略管控使得人為造成的意外降到最低。
CloudFront是亞馬遜雲科技的CDN產品,它使用了Latency based 網路,讓訪問者透過離他最近的CloudFront pop節點獲取內容。大節點,彈性是其優勢。
亞馬遜全球網路邊緣,2020年8月時還只有216個PoP節點,一年的之後的2021年,PoP節點數量增加到超過310個,增長超過40%。每一個PoP的增加,都會引入新的DDOS防禦能力的增長。
* 亞馬遜雲科技最新的PoP節點分佈請參考下面連結:
https://aws.amazon.com/cn/cloudfront/features/?whats-new-cloudfront.sort-by=item.additionalFields.postDateTime&whats-new-cloudfront.sort-order=desc#Global_Edge_Network
CloudFront由於有cache請求的需要,需要做TLS 解除安裝,也就是解密的,所以是一個非常好的檢查惡意請求的位置(後面我們會講到WAF如何在這個位置進行檢查)。在CloudFront的訪問控制方面,有四個方面的限制:
如透過請求頭和訪問控制列表來限制,內容保護可以使用url,cookie簽名的方式讓Cloudfront只把快取內容分發給帶有合法url或者cookie簽名字串的請求者。
區域限制訪問,在保護源站方面可以S3源站只響應對應的Cloudfront分發點發出的回應。
在加密方面,HTTPS協議一直在不斷演進。在證書管理,加密演算法選擇TLS會話協商和規範以及最新的TLS1.3協議方面。Cloudfront一直在緊跟網頁傳輸協議的發展。
同時,CloudFront和亞馬遜雲科技的產品整合一直都是非常緊密的連線。Route53和Cloudfront都是邊緣應用最早投產的兩個服務。他們是在自研的分散式Shield的產品之前就已經擁有了大量的客戶。在為這些客戶運營的過程中,亞馬遜雲科技瞭解到了客戶的需求,並用自己的方法重新發明瞭解決方法。
Amazon WAF,一款恰到好處的防護產品,它能夠無縫地防護CDN的產品,負載均衡器的產品,API閘道器,APPSync。當我們使用者的應用從DNS到了CDN,DDOS的大流量攻擊得到控制;SSL的加密流量裡仍然會見到攻擊;有時攻擊的流量也不可小看。
這個過程當中,解密,檢查惡意內容,限定bot訪問頻度。這個檢查應用層攻擊的元件要怎樣和已有的計算設施相配合。才能使得獲得安全的同時不用做效能的妥協呢?
答案是網頁應用防火牆-也就是WAF必須部署在雲邊緣,利用Cloudfront解密以後對內容進行過濾。所有的WAF節點和Cloudfront一起分佈在雲邊緣,這個結果就是今天看到的亞馬遜雲科技的WAF.。
想象一下,分佈全球的近300個PoP節點裡的WAF能夠使用一致的過濾策略,共同過濾特定客戶的應用流量。保持穩定的同時獲得透過分佈處理而匯聚的巨大的過濾吞吐能力。這個重新設計的架構顯然不是最容易的技術路線。但卻是亞馬遜雲科技在自己作為雲使用者的過程中,認為最合理的一種設計。
崔俊傑介紹了亞馬遜WAF的四大優點:
配置簡便: 不改變現有架構即可部署, 不用配置TLS/SSL或DNS
管理成本低: 可以使用亞馬遜託管規則,可以使用CloudFormation 模板部署。內建SQLi/XSS 檢測
可定製的安全: 高度靈活的規則引擎,可以在個位數毫秒級別的延時內完成網頁請求檢查
獲取第三方的規則: 您可以在亞馬遜雲市場中找到行業領先的安全供應商提供的規則進行部署
之後,崔俊傑介紹了亞馬遜雲科技今年推出的新產品——自動應用層DDOS緩解,該產品能夠在訂閱了Shield之後,根據Shield的流量判斷以及WAF Log日誌的判定進行智慧推算,推算以後能夠在使用者應用層的WAF增加一條WAF的規則,以自動託管規則的模式出現,取代人為操作。使用者可以選擇對這條規則採取計數模式進一步觀察,或者直接選擇阻斷模式來進行積極防禦,減少後臺伺服器由於攻擊引起的負荷。
第二個新產品是Captcha的功能,CC攻擊是國內用得比較頻繁的詞,它類似於應用層壓力攻擊。對CC攻擊的防禦,目前透過特徵去匹配越來越困難,所以需要人機圖靈測試完成這一操作。當攻擊發生後,達到一定量級或確定需要進入防禦模式時,開啟Captcha人機測試功能,使用者訪問時需要去經過一道“人類智商檢測程式”,相當於WAF的高容量高分散式的環境當中去實現了傳統的“人機驗證”。
崔俊傑表示,WAF相關產品體現了亞馬遜雲產品的DNA,就是不讓安全產品成為一個瓶頸,要維持高效架構的理念,要使產品能夠按需使用。
除上述雲邊緣安全產品,亞馬遜雲科技還提供Lambda、Functions、Global Accelerator等。
Lambda相當於CDN附加的邊緣計算能力,可以對經過CloudFront的流量進行一些處理。CloudFront 的Functions是個更便宜、更高效的類Lambda的產品,但限制相對多一些,它能完成一些更輕量級的計算的功能。從而提供給使用者更高效的選擇。而Global Accelerator則是一款類似於Anycast的加速產品。
Lambda Edge其實能夠跟CloudFront有機結合在一起,它可以在使用者請求、回源請求、回源響應以及對使用者響應的過程裡都加入客戶對於終端使用者的行為的控制、統計的功能,這是邊緣計算的一種表現形式。
亞馬遜雲科技邊緣這些技術組合中最有代表的,崔俊傑認為是使用Lambda實現WAF的自動化。
當WAF託管規則不夠用的時候,透過Lambda分析日誌來去靈活判定出後臺哪些行為是惡意的,分析出這個惡意的行為以後,再使用Lambda把規則在各個維度總結成一系列的規則,回饋到WAF的配置裡,WAF每一條規則可以加入一個黑名單或者白名單列表,可以帶來很好的安全防護靈活性。此外,還能夠隨時將使用者或第三方的安全防護規則整合到亞馬遜的WAF的防禦體系當中,應對各種各樣的攻擊的變化。
Global Accelerator也是一款亞馬遜雲邊緣產品,能夠做近源加速,使用了Global Accelerator的時候,它能夠讓終端使用者的訪問請求就近進入遍佈全球的PoP節點,然後藉助穩定可靠的雲骨幹抵達客戶的伺服器。
最後,崔俊傑表示,包括雲邊緣、網路安全在內,亞馬遜雲科技所有產品都具備的特點,第一是良好的架構,亞馬遜雲科技每一件產品最終都能呈現技術的美感;第二是高效能,雲計算資源和客戶訪問資源一直處於高速增長的狀態,亞馬遜雲科技不希望在這個過程中產品的設計出現缺憾,使得效能受到影響。
效能跟使用者的時間、金錢都有最直接的關係,永遠是客戶的第一追求。在安全方面,始終要考慮怎樣做到恰到好處,當產品遇到不符合客戶需求的場景時,亞馬遜雲科技可以重新發明符合需求的產品。