AI 推論與運算如何選型
GPU 選型從模型、精度與併發工作出發。權重能放進顯存,不代表上下文快取、暫存張量和併發請求都能容納。訓練、微調與算圖需求不同,需分別估算顯存、CPU 資料準備、記憶體及儲存,再驗證代表性工作。
香港與跨境使用者的入口設計
若同時服務香港與中國內地,分別記錄行動、家用及辦公網路的完整請求。拆分 DNS、TLS 與應用回應,不以香港本地樣本代替跨境體驗;付款、登入與資料庫也要納入,入口接近訪客不代表後端相依服務同樣接近。
香港網路驗收與測試記錄
面向香港及跨境存取時,分別驗證本地連線和使用者電信路由。 記錄來源、時間、協定、請求大小及回應分位數,保留失敗請求時間線。配置比較每次只改一項主要變因,觀察尖峰與非尖峰,不用單次測速代替上線驗收。
顯示卡、顯存與軟體相容性
購買前確認 GPU 型號、數量、顯存與驅動條件,不能由產品名稱推定顯卡或 CUDA 版本。記錄框架、執行庫與映像標籤,檢查算子和相依版本。驗收包含載入模型、完整批次與保存結果,而非只確認系統能看到裝置。
資料集、檢查點與費用評估
分別記錄資料上傳、解壓、前處理、計算及下載時間。等待資料會讓 GPU 閒置,峰值使用率不足以代表效率。檢查點和結果需存於明確資料卷並保留獨立副本,成本依完整工作週期與流量比較。
服務上線與工作中斷恢復
推論服務需測試冷啟動、併發限制、逾時與錯誤處理,記錄首筆與完整回應時間。長工作驗證檢查點可重新載入並續跑;權杖與資料憑證不可寫入公開映像,管理、模型及儲存分別授權。
價格、付款週期與續約如何核對
由本頁進入設定,以同一週期比較基礎資源、附加項及總額。核對首期、續約及流量、頻寬或位址計費,庫存與系統依設定頁。付款前閱讀條款,之後在會員中心確認狀態,避免重複送出。