DS4 Dashboard v3.0

-- --

Prod KV Cache · --

--
Capacity--
Used / Total blocks--
Max context--
Prefix hit rate--
Cached tokens--

Throughput

Gen t/s--
Prompt t/s--
Total prompt tokens0
Total gen tokens0
Avg prompt t/s--
Draft accept--

Requests

Running0
Waiting0
Total0
Stop0
Length0
Error/Abort0

Exp KV Cache · --

--
Capacity--
Used / Total--
Max context--
Prefix hit rate--

Exp Throughput

Gen t/s--
Prompt t/s--
Total prompt0
Total gen0
Running / Wait0/0

Latency prod / exp

TTFT -- / --
ITL -- / --
TPOT -- / --
E2E -- / --
Prefill -- / --
Decode -- / --

DGX-1

--
GPU %
--
GPU °C
--
CPU %
--
GPU Mem
--
RAM
GPU Util
GPU Temp
CPU Util

DGX-3

--
GPU %
--
GPU °C
--
CPU %
--
GPU Mem
--
RAM
GPU Util
GPU Temp
CPU Util

44dc

--
GPU %
--
GPU °C
--
CPU %
--
GPU Mem
--
RAM
GPU Util
GPU Temp
CPU Util

9f33

--
GPU %
--
GPU °C
--
CPU %
--
GPU Mem
--
RAM
GPU Util
GPU Temp
CPU Util

Request History

TimeTotalGen TokensTPOTE2E