NVIDIA 初創加速計劃會員企業 HTZL.AI 是國內領先的企業級私有 AI 基礎設施提供商，致力于企業級私有 AI 基礎設施的研發，主打“數據不出企業、模型不進云端”的私有化 AI 路徑，已在環保咨詢機構、出海企業等對數據安全要求較高的行業落地。
隨著大模型在企業場景快速滲透，落地場景正由“公有云 SaaS”擴展至“客戶辦公室或機房內的私有化部署”。不同于公有云場景，私有化部署對系統提出了全新挑戰：業務要擁抱 120B 級大模型，但任何一份外泄都意味著商業泄密甚至法律責任，絕不能在公有云大模型中被分析、緩存以及訓練。
為實現安全可靠的私有化推理，HTZL.AI 選擇 NVIDIA DGX Spark 作為單機部署底座，提供媲美高端算力中心的高性價比方案。NVIDIA Grace Blackwell 架構提供 128 GB CPU/GPU 統一內存，具備更大容量的模型加載能力；包括 CUDA、TensorRT-LLM 等在內的豐富的 NVIDIA 軟件生態則為多模型推理與向量并行計算提供了高質量算力支持。
依托 NVIDIA DGX Spark，HTZL.AI 為數據敏感客戶帶來了顯著優勢，實現了在客戶自有辦公室或者機房內對大模型推理、向量檢索、業務數據與 Agent 編排的全方位自主可控。同時，在成本與能耗方面，相較于傳統多卡 GPU 工作站，HTZL.AI 基于 NVIDIA DGX Spark 的方案可幫助客戶將硬件投入降低約 50%，能耗降低 90% 以上。
以上為摘要內容，點擊“閱讀原文”或掃描下方二維碼閱讀完整內容：
