Orin 與 RTX 4090
三後端效能與記憶體

1 · 結論與選型

Orin 的上線選型是 Offline TRT。它在 bulk 3／6／15 秒都比 CUDA 快，且推論後的 cgroup current 是 3841 MiB，較 Online TRT 的 8630 MiB 少 55.5%。4090 也呈現相同記憶體方向，Offline TRT 較 Online TRT 少 60.0%。

複測後的差異：4090 舊資料的 15 秒 50–60% TRT 加速沒有重現；七輪複測是 bulk 約 7%、realtime 約 11–15%。Orin 的 15 秒 realtime 則在約 180 與 222 ms 間形成雙峰，Online／Offline 都會出現，因此不能用單次中位數宣稱兩者誰較快；bulk 約 220 ms 的結果穩定。

完整服務 final ASR latency 與直接 recognizer 的數值不相等，因為計時範圍不同。第 3、4 節量 accept_waveform + decode_stream，第 5 節從 VAD stop 後的 final ASR 路徑開始量。

2 · 測試方法與邊界

Direct recognizer 是 decode 指標，不是純 GPU kernel 時間；完整服務的 server_latency_ms 是 VAD stop 後的 final ASR，兩者不能直接換算。Recognizer JSON 雖保留 warmup=10 參數欄位，該分支實際只先做 1 次 3 秒 decode，再收樣本。

3 · RTX 4090 模型後端

Recognizer latency 的範圍：accept_waveform + decode_stream，包括音訊送入與 feature preparation，不含 WebSocket、VAD、ITN 與模型載入。固定 shape graph 表最接近單純 ORT 模型圖的比較。

4 · Orin AGX 模型後端

Orin 的 direct recognizer 在 3／6／15 秒均由 Online TRT／Offline TRT 低於 CUDA；Offline 3、6、15 秒分別相對 CUDA -38.5%、-27.3%、-8.7%。

以同一支 build_offline_trt_bundle.py --force 完整建置並驗證：Orin 80.78 秒；4090 27.57 秒。兩者 runtime 與 GPU 架構不同；這是產生平台專屬 EP context／engine 的一次性成本，不是每次服務啟動成本。

5 · 完整 STT 服務的 final ASR latency

這裡是服務 final ASR，不是第 3、4 節的 direct recognizer。計時從 VAD stop 後進入 final ASR，包含尾段處理、prep、lock、decode 與 ITN；不含先前 realtime interim 累積與送音時間。因此應以各節自身的 CUDA 基準比較，不能把兩節百分比相乘或相減。

5.1 RTX 4090

5.2 Orin AGX

6 · 記憶體：RAM / VRAM，不含 disk

主圖先看 cgroup current：它是整個容器現在被計帳的 RAM，包含檔案快取。可用按鈕切換「推論後」與「載入完成」；PSS、RSS、VmHWM 與 cgroup peak 留在詳細表與第二張圖。

6.1 RTX 4090 完整服務

6.2 Orin AGX 完整服務

6.3 模型後端本身：直接 recognizer

6.4 首次建 engine、暖快取與 Offline 載入

6.5 RTX 4090 整卡 VRAM

6.6 指標、平台與手法

7 · 新舊差異與不一致

正文只使用本輪 rebase 後的 v5.10／LoRA v2 數據。歷史附錄僅保留上一輪 cycle 的 4090 CUDA／Online TRT，用來看重測差異；它不是這輪的主結論。Orin 沒有歷史數據混入。

7.1 15 秒七輪控制複測

RTX 4090：舊主測 CUDA 15 秒曾漂到約 189 ms，造成 50–60% 的表面加速。這次相同 warmup、獨立新服務與輪替順序後，七輪 bulk 的 Online／Offline TRT 分別為 -7.2%／-6.9%，realtime 為 -15.2%／-11.2%；TRT 仍快，但幅度較小。

Orin：Online TRT realtime 七輪是 180.38, 181.31, 221.46, 222.14, 223.92, 181.39, 222.45 ms；Offline TRT 是 221.66, 181.64, 181.61, 181.75, 226.78, 182.23, 178.95 ms。兩者都出現約 180／222 ms 雙峰，中位數由兩群各自出現幾次決定；目前只能說 Offline/Online bulk 都穩定快於 CUDA，不能用這組 realtime 排名 Online 與 Offline。

MAD 是相對中位數的絕對偏差中位數。完整原始樣本、失敗嘗試與排除原因都保留在下載 JSON。

8 · Build、部署與驗證

Dockerfile.orin 的 sherpa-onnx build jobs 使用 max(1, floor(nproc / 2))；本輪量測 image 的依賴層有 cache 命中，不能從 deploy 總時間推導這項變更的加速比例。

8.1 Orin Online／Offline YAML 與 bundle

deployment/k3s-orin/base 放共用 Deployment／Service／Route；overlays/online 掛 Online TRT config；overlays/offline 加入 builder Job、等待 init container 與 Offline bundle mount。切換由 YAML overlay／Skaffold profile 決定，deploy.sh 不在 runtime config 內硬改 provider。

Offline bundle 的模型、config、builder、ORT、TensorRT、裝置指紋有變化時才重建；這輪 Orin bundle 建在 sm87 上，沒有使用 4090 的 sm89 engine。這次正式 deploy-only 顯示 Offline TensorRT bundle is current，之後 pod 等待 Offline 完成標記並已成功 rollout。

8.2 驗證結果與限制

• 完整服務主統計：108／108 個 final ASR 結果成功；15 秒控制複測：84／84 成功。
• 正式 Offline TRT production smoke：bulk 3 秒 ok、realtime 3 秒 ok，不混入三輪主要統計。
• Orin provider proof：CUDA graph 記錄 CUDA／CPU 節點；Online TRT 與 Offline TRT 的 profiler 節點計數皆為 {'TensorrtExecutionProvider': 1}／{'TensorrtExecutionProvider': 1}。
• Relative-context source guard 與 Python compile 通過；本機 Python 沒有安裝 pytest，因此未把 pytest suite 宣稱為已跑。
• 暫用 Orin benchmark pods 都已清理，只保留正式 Offline TRT deployment；此輪沒有 commit 或 push Git branch。

8.3 名詞

下載本輪完整 JSON（含每輪 raw sample、記憶體快照、provider proof、部署資料與 4090 歷史比較）