NVIDIA berargumen bahwa performance per watt menjadi ukuran penting ketika daya membatasi jumlah token yang dapat diproduksi AI factory. Perusahaan menyebut GB300 NVL72 menghasilkan peningkatan hingga 25 kali dibanding Hopper pada workload tertentu, sementara domain 72 GPU membantu model mixture-of-experts. Klaim vendor tersebut berguna sebagai titik awal, tetapi pembeli harus membandingkan kurva latency-throughput, utilisasi, daya fasilitas, cooling, reliability, software, dan biaya token pada traffic produksi yang representatif.
Mengapa watt menjadi batas nyata AI factory
Datacenter memiliki batas daya dari grid, transformer, rack, serta cooling. Jika dua sistem memenuhi kualitas dan latency yang sama, sistem yang menghasilkan lebih banyak token dalam budget listrik tetap dapat melayani traffic lebih besar. Performance per watt menghubungkan komputasi dengan constraint fisik yang tidak dapat diatasi hanya dengan membeli lebih banyak GPU ketika fasilitas sudah penuh.
Namun denominator dan kondisi pengukuran harus jelas. Apakah watt mencakup GPU, node, network, cooling, atau seluruh fasilitas? Apakah throughput diukur pada latency yang dapat diterima? Quantization, batch, panjang konteks, cache hit, model, serta precision dapat mengubah hasil. Angka accelerator-only tidak boleh langsung dipakai untuk memprediksi tagihan listrik datacenter.
- Tetapkan boundary daya yang diukur.
- Samakan model, kualitas, precision, dan latency target.
- Ukur pada distribusi input produksi.
- Pisahkan peak benchmark dari sustained throughput.
MoE mengubah kebutuhan scale-up network
Model mixture-of-experts hanya mengaktifkan sebagian expert untuk setiap token, tetapi routing serta pertukaran tensor menuntut komunikasi cepat. NVIDIA membandingkan domain delapan GPU pada generasi Hopper dengan domain 72 GPU NVL72. Domain lebih besar dapat menjaga expert berada dalam fabric scale-up dan mengurangi bottleneck, tetapi juga menambah kegagalan komponen serta kompleksitas operasi rack.
Kinerja MoE bergantung pada expert balance, capacity factor, routing, parallelism, dan ukuran batch. Model dense atau workload kecil mungkin tidak memperoleh manfaat yang sama. Operator perlu memprofilkan collective communication, bandwidth, tail latency, dan failure recovery. Arsitektur rack-scale bukan pengganti workload sizing; cluster yang terlalu besar tetapi kurang terpakai dapat membuang daya idle.
Kurva Pareto lebih berguna daripada satu skor
NVIDIA menampilkan kurva Pareto karena konfigurasi yang mengoptimalkan latency tidak selalu memaksimalkan throughput. Pada traffic interaktif, time-to-first-token dan inter-token latency menentukan pengalaman. Pada batch offline, throughput serta biaya dapat lebih dominan. Titik operasi juga berubah menurut panjang prompt, output, concurrency, dan service-level objective.
Tim sebaiknya membangun kurva sendiri: sweep batch, concurrency, quantization, speculative decoding, serta cache. Plot token per detik, persentil latency, watt, error, dan kualitas. Tools simulasi dapat mempersempit opsi sebelum memakai GPU, tetapi validasi hardware tetap diperlukan. Pilih titik yang memenuhi SLO dengan margin, bukan titik benchmark paling tinggi.
- Ukur TTFT dan inter-token latency.
- Gunakan p95 serta p99, bukan rata-rata saja.
- Bandingkan prompt pendek dan long context.
- Masukkan kualitas output dalam keputusan.
Software dan cooling dapat mengubah ekonomi rack
NVIDIA mengaitkan efisiensi dengan NVFP4, disaggregated serving, expert parallelism, KV-aware routing, cache offloading, Dynamo, TensorRT-LLM, SGLang, dan vLLM. Perusahaan juga menyebut performa per watt pada DeepSeek V4 meningkat hingga lima kali dalam sebulan melalui software. Artinya snapshot benchmark cepat usang dan stack harus dituning serta di-versioning secara disiplin.
Pada tingkat fasilitas, NVIDIA menyatakan hanya sekitar 60 persen listrik grid dapat berubah menjadi kerja AI pada kondisi tertentu akibat cooling dan inefficiency. DSX MaxLPS ditujukan menggeser daya antar GPU serta rack dan mendukung warm-water cooling. Klaim hingga 40 persen lebih banyak GPU dalam budget yang sama harus diuji terhadap desain fasilitas, suhu, redundancy, serta batas warranty lokal.
Checklist procurement dan capacity planning
Minta benchmark yang mereproduksi model, precision, context, request mix, latency SLO, dan availability target. Hitung server, network, storage, cooling, power delivery, software license, operator, spare, serta downtime. Periksa utilisasi pada jam sepi dan lonjakan. Sistem efisien pada 90 persen utilisation belum tentu efisien untuk traffic bursty yang rata-rata hanya 25 persen.
TenFourSeven menyarankan pilot dengan metering rack serta software yang sama seperti produksi. Catat joule per request sukses, bukan token mentah saja, lalu bandingkan biaya per outcome. Masukkan reliability: retry akibat kegagalan menghabiskan energi tanpa nilai. Performance per watt memang penting, tetapi keputusan terbaik menggabungkan energi, kualitas, latency, utilisation, availability, dan kemampuan tim mengoperasikan platform.
- Gunakan watt meter dan telemetry fasilitas.
- Normalisasi terhadap request yang memenuhi SLO.
- Uji failure, retry, dan degraded mode.
- Proyeksikan improvement software serta risiko migrasi.
Performance per watt membuat constraint listrik terlihat dalam keputusan AI infrastructure, tetapi metrik itu tidak berdiri sendiri. Klaim hingga puluhan kali peningkatan bergantung pada model, domain GPU, precision, software, serta operating point. Bangun kurva Pareto pada workload sendiri, ukur daya end-to-end, dan hitung hanya request yang memenuhi kualitas serta SLO. Efisiensi produksi datang dari codesign hardware, network, serving, cooling, reliability, dan operasi—bukan satu angka pada slide vendor.