選型目標
依模型大小、精度、顯示記憶體及並行工作量估算資源。效能須以自己的模型與軟體版本量測,不能直接套用單一跑分。
用自己的模型驗證 RTX 4090
推論模型的權重、精度、上下文與並行請求會改變顯示記憶體需求;算圖則受場景、材質及設定影響。單一出圖時間或 token 速率不適用所有工作。
比較硬體時也要記錄框架、CUDA、驅動程式和資料讀取方式。先確認任務能穩定完成,再評估長時間使用成本。
核對軟體與授權
記錄框架、CUDA、驅動程式及應用相容版本。依可用映像確認需要自行安裝的部分,商用軟體授權應另外核對。
資料集、模型檢查點與輸出檔案要有持久化與備份安排,避免工作結束後才發現資料留在暫存位置。
使用自己的工作量測
以固定模型或場景、輸入大小、精度與並行量測試。推論同時看延遲與吞吐量,批次工作則記錄總時間和資源使用。
每秒 token 數或出圖秒數必須連同模型、參數及環境解讀,不能當成所有專案的效能承諾。
規劃工作中斷與計費
定期儲存檢查點並測試續跑,把資料傳輸、閒置資源和儲存一起計入預算。付款週期以所選配置實際提供的選項為準。
停止工作不一定等於停止計費;採購前確認釋放資源、保留資料及取消服務的流程。




