亞馬遜云科技2024?re:Invent：構(gòu)建核心單元，驅(qū)動AI創(chuàng)新與應用變革

隨著全球企業(yè)對生成式AI的深入應用，數(shù)據(jù)不僅實現(xiàn)跨區(qū)域的傳輸與協(xié)同，更實現(xiàn)跨地域、跨區(qū)域的深度連接。亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建日前在亞馬遜云科技2024 re:Invent中國行活動上發(fā)表主題演講時指出，“幾乎所有的應用程序都可以分解成為幾個核心的構(gòu)建單元，亞馬遜云科技所做的就是構(gòu)建出非常優(yōu)秀的核心單元，用戶可以通過自由搭建這些核心單元，滿足他們在特定場景下不同的業(yè)務需求。” 

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

這其中，又以計算、存儲、數(shù)據(jù)庫和大數(shù)據(jù)分析四大核心構(gòu)建單元最為關(guān)鍵。因此，本屆re:Invent大會上除了新發(fā)布更加側(cè)重于產(chǎn)品的實際應用和工具優(yōu)化外，也更強調(diào)從數(shù)據(jù)存儲、治理到管理的全流程提升，旨在簡化AI對數(shù)據(jù)的使用，構(gòu)建全棧聯(lián)動的大規(guī)模創(chuàng)新。 

計算服務

按照陳曉建的說法，目前，亞?遜云科技提供的計算實例類型比其他任何云服務提供商都要多。作為亞馬遜云科技的核心計算產(chǎn)品，Amazon EC2為用戶提供了更多選擇、更多實例類型和更多功能，讓客戶能為應?和?作負載找到更具性價比的解決?案。

Amazon EC2與Amazon Nitro System

Amazon EC2為用戶提供了廣泛的實例選擇，涵蓋從小型開發(fā)應用到大規(guī)模企業(yè)級工作負載的各類需求。無論是需要大規(guī)模并行計算的高性能計算（HPC）應用，還是要求靈活彈性的開發(fā)環(huán)境，EC2都能為客戶提供最具性價比的解決方案。目前，搭載Nvidia Blackwell芯片的Amazon EC2 P6實例系列在亞?遜云科技海外區(qū)域正式上線，其計算性能較是當前GPU的2.5倍。

Amazon Nitro System是虛擬化系統(tǒng)，采?了亞馬遜云科技自主設(shè)計的芯片，能夠承擔?絡(luò)、計算和存儲的虛擬化工作。它提供裸機性能、高安全性、隔離性和靈活性，推動計算領(lǐng)域創(chuàng)新，為后續(xù)芯片創(chuàng)新奠定基礎(chǔ)。

通用自研芯片Amazon Graviton4

自2018年推出Amazon Graviton處理器以來，亞馬遜云科技不斷優(yōu)化其性能，并在幾個月前推出了迄今為止最強大的Graviton芯片——Amazon Graviton4，其單核計算性能提升了30%，虛擬CPU數(shù)量和內(nèi)存容量都是上一代的3倍。

陳曉建分享的數(shù)據(jù)顯示，在Amazon數(shù)據(jù)中心新增的處理器中，Amazon Graviton的占比已經(jīng)超過50%，在其規(guī)模最大的1000家Amazon EC2客戶中，已有超過90%開始使用Amazon Graviton。以社交平臺Pinterest為例，該公司此前運行著數(shù)千個x86實例，后來決定遷移到Graviton平臺，不僅性能得到了顯著提升，計算成本更是降低了47%，同時碳排放量更是降低了62%。 

Amazon EC2 Trn2 UltraServer

Amazon EC2 Trn2 UltraServer通過NeuronLink互連技術(shù)將4個Trn2實例（共64個Trainium2芯?）連接在?起，單個計算節(jié)點的峰值計算性能超過83Petaflops。這不僅能為超?規(guī)模模型提供更好的推理性能，還能讓構(gòu)建超?規(guī)模訓練集群的過程更加?效。在與Anthropic合作打造的?個名為Rainier項目的Trn2 UltraServer集群中，數(shù)十萬個Trainium2芯片的使用規(guī)模，是其之前集群的五倍以上。

Amazon Trainium3

在自主研發(fā)的AI芯片領(lǐng)域，Amazon在2019年推出了首款推理芯片Amazon Inferentia，2022年又推出了首款訓練芯Amazon Trainium1；2023年則宣布了Amazon Trainium2的開發(fā)計劃。

2024年，搭載Amazon Trainium2的Amazon EC2 Trn2實例現(xiàn)已正式在海外區(qū)域推出。每個Trn2實例都配備了16個Amazon Trainium2芯片，這些芯片通過NeuronLink的?帶寬、低延遲互連技術(shù)相連，使單個實例能夠提供?達20.8 Petaflops的計算性能。這也使得與當前?代基于GPU的實例相?，Amazon Trainium2的性價比提升了30-40%。

Amazon Trainium2芯片

根據(jù)規(guī)劃，Amazon Trainium3將于2025年后期推出。這是?款采?3納?制程?藝的芯?，計算速度提?到2倍，能效最?提升40%，可以幫助客戶能以更低的成本構(gòu)建規(guī)模更?、性能更強的應?。

存儲服務

在云服務的整體架構(gòu)中，計算與存儲是兩個互相依賴且密不可分的關(guān)鍵構(gòu)建單元。計算為數(shù)據(jù)處理和業(yè)務邏輯提供了執(zhí)行平臺，而存儲則是數(shù)據(jù)的棲息地，它確保數(shù)據(jù)可以高效、安全且持久地存放。在云計算環(huán)境中，存儲不僅僅是為了存放數(shù)據(jù)，它還是數(shù)據(jù)管理、訪問、保護以及后續(xù)分析和挖掘的核心支撐。

10年前，在Amazon S3中存儲容量達到1PB的客戶還不到100家。如今，Amazon S3存儲的對象數(shù)量已突破400萬億，甚?有幾家客戶的存儲量已經(jīng)突破了1EB。同時，還有超過100萬個客戶把Amazon S3作為數(shù)據(jù)湖的首選平臺，憑借出色的擴展性、性能、成本效益、易用性和先進功能，Amazon S3成了企業(yè)數(shù)據(jù)湖構(gòu)建的不二選擇。這些數(shù)據(jù)湖為不同領(lǐng)域的分析、金融建模、實時廣告投放、AI等各類工作負載提供支持。

而最新發(fā)布的Amazon S3 Tables則是?種專為Iceberg表設(shè)計的全新存儲桶類型，查詢速度提高到3倍，與常規(guī)Amazon S3存儲桶相?，每秒可處理事務數(shù)量提升到10倍。Amazon S3 Metadata元數(shù)據(jù)服務也是新業(yè)務之一，能幫助客戶即時發(fā)現(xiàn)和理解Amazon S3中的數(shù)據(jù)，能夠自動為客戶創(chuàng)建可查詢的元數(shù)據(jù)，并且?guī)缀鯇崟r進行更新。

數(shù)據(jù)庫服務 

Amazon提供了多種適?于不同場景下專門構(gòu)建的數(shù)據(jù)庫——從關(guān)系型數(shù)據(jù)庫，到圖數(shù)據(jù)庫到文檔數(shù)據(jù)庫，每種使用場景都能找到合適的數(shù)據(jù)庫?具。這些專門構(gòu)建的數(shù)據(jù)庫廣受歡迎，讓許多此前無法實現(xiàn)的工作負載變成了現(xiàn)實，但關(guān)系型數(shù)據(jù)庫依然是眾多應用的最佳選擇之一。

2024年，是完全兼容MySQL和PostgreSQL的數(shù)據(jù)庫服務Amazon Aurora發(fā)布10周年的紀念。“客戶需要Amazon Aurora的這種關(guān)系型數(shù)據(jù)庫，它既能提供商業(yè)數(shù)據(jù)庫級別的可靠性，又能像開源數(shù)據(jù)庫?樣具有可移植性。而且較之自托管開源數(shù)據(jù)庫，性能提升到3-5倍，成本僅為商業(yè)數(shù)據(jù)庫的十分之?。”陳曉建說。 

他同時指出，?個完美的數(shù)據(jù)庫解決?案應該有這些功能：具有高可用性、支持跨區(qū)域部署、具備低延遲性能、支持強?致性、運維負擔接近于零，還必須兼容SQ。為此，Amazon開發(fā)出了?種全新的事務處理?法——將事務處理與存儲層分離，這樣就不?每條語句都去查詢存儲層，只需在提交時進??次性檢查。在提交階段，再將所有寫操作并?地執(zhí)?到各個區(qū)域，由此既保證了強?致性，?實現(xiàn)了極速的數(shù)據(jù)庫寫?。

Amazon Aurora DSQL是一款全新的無服務器分布式SQL數(shù)據(jù)庫，它結(jié)合Amazon Time Sync服務，采用完全無服務器設(shè)計，可在多區(qū)域?qū)崿F(xiàn)近乎無限擴展，可用性高達99.999%，支持強一致性，具備低延遲的讀寫性能，完全兼容PostgreSQL。與其他的流行分布式SQL數(shù)據(jù)庫相比，其讀寫速度提升了4倍。

Amazon DynamoDB global tables現(xiàn)已支持多區(qū)域強一致性，?論客戶選擇SQL還是NoSQL數(shù)據(jù)庫，都能享受到這些優(yōu)勢：?持主動-主動的多區(qū)域部署，同時具備強?致性、低延遲和?可?性。

數(shù)據(jù)分析服務

在這個信息時代，數(shù)據(jù)已經(jīng)成為了企業(yè)的重要資產(chǎn)。目前，在數(shù)據(jù)分析領(lǐng)域，Amazon提供了包括數(shù)據(jù)倉庫Amazon Redshift、?數(shù)據(jù)處理Amzon EMR、搜索分析Amazon Opensearch、流數(shù)據(jù)分析Amazon Kinesis/Amazon MSK、數(shù)據(jù)集成Amazon Glue，交互查詢的Amazon Athene，以及BI?具Amazon Quicksight在內(nèi)的專?服務組合。

例如，新?代Amazon SageMaker涵蓋了分析、數(shù)據(jù)處理、搜索、數(shù)據(jù)準備、AI模型開發(fā)和訓練、?成式AI等所有必需功能，全部功能都可以通過統(tǒng)?的企業(yè)數(shù)據(jù)視圖實現(xiàn)；一站式數(shù)據(jù)和AI開發(fā)平臺Amazon SageMaker Unified Studio整合了多種功能，支持創(chuàng)建包含AI或分析資源的共享項目，方便數(shù)據(jù)科學家、分析師和機器學習專家開展協(xié)同工作，同時內(nèi)置數(shù)據(jù)目錄和治理功能，通過安全控制確保組織中的不同用戶只能訪問其權(quán)限范圍內(nèi)的資源和數(shù)據(jù)。

Amazon SageMaker Lakehouse為所有數(shù)據(jù)源提供簡單統(tǒng)一的訪問方式，兼容Apache Iceberg。用戶可以在統(tǒng)一開發(fā)環(huán)境中輕松處理所有數(shù)據(jù)，也可以通過任何支持Apache Iceberg API的第三方AI或分析工具、查詢引擎直接訪問SageMaker數(shù)據(jù)湖倉；全新的Zero-ETL與領(lǐng)先的軟件即服務（SaaS）應用程序的集成，讓客戶無需復雜的數(shù)據(jù)管道，即可在Amazon SageMaker Lakehouse和Amazon Redshift中訪問第三方SaaS應用程序的數(shù)據(jù)，并進行分析或機器學習。

除了基礎(chǔ)的分析功能，亞馬遜云科技也不斷推動AI和數(shù)據(jù)科學領(lǐng)域的創(chuàng)新。Amazon SageMaker HyperPod是亞馬遜云科技推出的一項新功能，它允許用戶定義靈活的訓練計劃，并根據(jù)任務的優(yōu)先級動態(tài)調(diào)整資源，確保高優(yōu)先級的模型訓練按時完成。HyperPod的任務治理功能，能夠有效管理不同類型的訓練任務，為數(shù)據(jù)科學家提供更高效的工作環(huán)境。

此外，亞馬遜云科技還強化了AI平臺與第三方合作伙伴的整合，發(fā)布了通過合作伙伴構(gòu)建的AI應用，客戶可以直接在SageMaker中訪問這些應用，并加速模型的開發(fā)和部署。

生成式AI推理

生成式AI推理將成應用核心構(gòu)建塊，未來應用需支持規(guī)模化推理平臺，利用專有數(shù)據(jù)，平衡性能、安全性和成本，模型選擇至關(guān)重要。

新發(fā)布的Amazon Nova系列模型，包括多種類型。Nova Micro是文本到文本模型，能以極低成本提供低延遲響應；Nova Lite為成本極低的多模態(tài)模型，可快速處理多種輸入；Nova Pro是功能強大的多模態(tài)模型，在準確性、速度和成本間平衡；即將推出的Nova Premier是其中能力最強的多模態(tài)模型，可處理復雜推理任務并指導定制模型蒸餾。

新一代圖像生成模型Amazon Nova Canvas，它能幫助客戶生成高質(zhì)量圖像，還具備圖像編輯功能，最高可以生成高達兩K（2000乘以2000）、2048乘以2048這樣的圖像，并且用戶很快就可以通過Canvas這個模型進行微調(diào)。

而通過Amazon Bedrock Marketplace平臺，用戶不僅可以使用領(lǐng)先供應商提供的一百多個新興和專業(yè)基礎(chǔ)模型，還能夠通過統(tǒng)一界面發(fā)現(xiàn)、測試各類新興專業(yè)模型，部署模型后，可使用Amazon Bedrock的統(tǒng)一API，以及知識庫、安全防護、Agent等工具，同時享受其安全和隱私保護。

其中的一些新功能也很值得關(guān)注：

• 模型蒸餾功能，用戶只需提供示例提示，平臺自動完成工作，通過蒸餾得到的模型運行速度提升到5倍，成本降低75%，顯著提升生成式AI項目投資回報。
• 自動推理檢查功能，預防模型幻覺引起的事實性錯誤，基于數(shù)學驗證檢查模型事實性陳述準確性并展示推理過程，如在保險領(lǐng)域可確保回答準確性。
• 多智能體協(xié)作功能，支持多個Agent協(xié)作處理復雜工作流程，為特定任務創(chuàng)建一系列獨立Agent，創(chuàng)建監(jiān)督Agent負責設(shè)置信息訪問權(quán)限、決定任務執(zhí)行方式并確保協(xié)作，用戶無需單獨管理Agent，可輕松處理復雜任務。

此外，poolside、Luma AI、Stability AI的Stable Diffusion 3.5模型等將很快在Amazon Bedrock上線。其中，poolside專為軟件開發(fā)流程打造，其模型在代碼生成、測試、文檔編寫方面表現(xiàn)出色，基于深層次上下文實現(xiàn)實時代碼補全；Luma在模型創(chuàng)新方面取得重大突破，可將文本和圖像轉(zhuǎn)化為高品質(zhì)、逼真的視頻；Stable Diffusion 3.5是基于SageMaker HyperPod訓練的高級文生圖模型，性能強大。

結(jié)語

陳曉建在回顧2024年AI發(fā)展歷程是表示，許多客戶正從思考階段進入實踐階段，并進行了大量場景試驗。進入2025年，很多客戶將從原型驗證階段轉(zhuǎn)化為生產(chǎn)階段，這是必經(jīng)之路。屆時，客戶需求將更加復雜，不僅是選擇模型，還需要各種技術(shù)支持。因此，亞馬遜云科技不僅需要在云的核心服務層面持續(xù)創(chuàng)新，更需要在從芯片到模型，再到應用的每一個技術(shù)堆棧取得突破，讓不同層級的創(chuàng)新相互賦能、協(xié)同進化。