Baseten、Cognition、Deep Infra、DigitalOcean、Hippocratic AI、Together AI 和 Cursor 正從 NVIDIA 的軟件和開源生態系統中獲得復利價值。
隨著企業從 AI 試點轉向生產型 AI 工廠，基礎設施的決策核心已從芯片峰值規格轉向每 Token 成本：即每美元、每瓦特以及在規定的延遲目標內能夠交付多少有用的 Token。
NVIDIA 的全棧推理軟件與 NVIDIA GPU、CPU、網絡和系統協同設計，并在廣泛的開源生態系統支持下，持續提升硬件性能。在 NVIDIA Blackwell 平臺上，該軟件棧僅在一個月內就已經將 DeepSeek V4 模型的 Token 成本降低至原來的五分之一。
領先的企業與推理服務提供商已經看到了 NVIDIA 推理軟件棧在 Blackwell 上帶來的復利價值：
Baseten：使用 NVIDIA TensorRT LLM 開源庫在 Blackwell GPU 上運行 DeepSeek V4 Pro，用于推理、編碼和長上下文工作負載，并應用專有的運行時優化，將每秒生成的 Token 數量提升了高達 50%。
Cognition：正在使用 NVIDIA Dynamo 推理框架來管理推理 GPU，為其團隊提供了一條現成的路徑，無需從頭開始構建基礎設施即可擴展強化學習工作負載。
Deep Infra：使用 NVIDIA 推理軟件棧，從發布首日起便在 Blackwell 上高效提供包括 DeepSeek V4 在內的前沿開源模型服務。
DigitalOcean：協助 Hippocratic AI 在 Blackwell GPU 上使用 NVIDIA 推理軟件，更快捷且高效地提供醫療 AI 服務。此舉不僅將推理吞吐量提升了 30%，更在高達 1,000 萬次的患者呼叫中，將首次響應時間維持在半秒以內。
Together AI：在 Blackwell 上使用 NVIDIA TensorRT LLM，幫助 Cursor 加速從模型優化到生產端點的路徑，以實現實時編碼體驗。
以上為摘要內容，請點擊“閱讀原文”或掃描下方二維碼閱讀完整內容：
