Useful intelligence per dollar adalah cara membandingkan berapa banyak pekerjaan bernilai yang selesai untuk setiap biaya AI. Konsep ini tidak memiliki satu satuan universal. Organisasi harus mendefinisikan tugas sukses, nilai, dependability, dan biaya penuh. Dengan definisi yang jelas, metrik membantu memilih model serta workflow; tanpa definisi, ia mudah berubah menjadi slogan pemasaran.
Definisi sederhana
Secara praktis, useful intelligence per dollar dapat dibayangkan sebagai nilai outcome yang berhasil dibagi biaya total untuk menghasilkan outcome tersebut. Pembilang bisa berupa tiket selesai, jam yang dikembalikan, bug yang diperbaiki, atau keputusan yang meningkat. Penyebut mencakup API, tool, infrastruktur, review, dan koreksi.
Kata useful penting karena keluaran panjang atau banyak token belum tentu berguna. Intelligence juga tidak sama dengan skor benchmark tunggal. Sebuah model bernilai ketika kemampuannya menghasilkan hasil yang diterima dalam konteks pengguna. Dollar mewakili biaya ekonomi, bukan hanya invoice vendor.
- Outcome harus dapat diverifikasi.
- Biaya harus mencakup retry dan tenaga manusia.
- Dependability menentukan berapa output yang dapat dipakai.
- Nilai berbeda menurut workflow.
Rumus kerja yang dapat dipakai tim
Mulai dengan success rate: jumlah tugas yang lolos rubric dibagi jumlah percobaan. Hitung cost per successful task sebagai total biaya eksperimen dibagi jumlah tugas sukses. Setelah itu perkirakan value per success berdasarkan waktu, pendapatan, risiko yang dihindari, atau kualitas layanan.
Rasio sederhana adalah total verified value dibagi total cost. Jika nilai sulit dimonetisasi, tampilkan scorecard terpisah: success rate, biaya sukses, waktu, dan insiden. Jangan memaksa semua hal menjadi rupiah semu. Transparansi beberapa metrik lebih baik daripada satu angka presisi palsu.
- Success rate = tugas lolos / seluruh tugas.
- Cost per success = biaya total / tugas lolos.
- Net value = nilai terverifikasi – biaya penuh.
- Dependability mencakup variasi serta risiko.
Contoh membandingkan dua model
Model A menghabiskan Rp1.000 per percobaan dan berhasil 60 dari 100 tugas. Model B menghabiskan Rp1.600 tetapi berhasil 90 tugas. Tanpa biaya review, A memiliki biaya sukses sekitar Rp1.667 dan B sekitar Rp1.778. Perbedaannya kecil dibanding harga per request yang terlihat 60 persen lebih tinggi.
Jika kegagalan A membutuhkan review tambahan Rp1.000 per tugas, biaya totalnya naik. Jika B lebih lambat atau terlalu sering salah pada kasus berisiko, keuntungan success rate bisa berkurang. Contoh ini menunjukkan mengapa harga token, akurasi, latency, dan review harus dihitung bersama.
Kesalahan umum saat memakai metrik
Pertama, menilai output oleh model lain tanpa pemeriksaan manusia pada sampel penting. Kedua, memilih hanya tugas mudah. Ketiga, mengabaikan error tersembunyi serta dampak kebocoran data. Keempat, menganggap waktu yang dihemat otomatis menjadi nilai ekonomi meski kapasitas tersebut tidak digunakan.
Kesalahan lain adalah mencampur workflow. Ringkasan internal berisiko rendah tidak boleh menutupi kegagalan pada kontrak atau perubahan kode. Segmentasikan metrik dan beri bobot sesuai dampak. Laporkan uncertainty serta jumlah sampel agar scorecard tidak memberi kepercayaan palsu.
- Jangan cherry-pick periode atau contoh terbaik.
- Jangan abaikan biaya integrasi dan governance.
- Jangan menyamakan output dengan outcome.
- Jangan memakai rata-rata untuk menyembunyikan tail risk.
Kapan konsep ini berguna
Useful intelligence per dollar membantu memilih tier model, menentukan routing, dan memutuskan apakah pilot layak diperluas. Tim dapat memakai model cepat pada tugas volume tinggi dan model kuat pada kasus sulit. Metrik juga membantu menemukan bahwa perbaikan prompt, retrieval, atau UX lebih bernilai daripada upgrade model.
TenFourSeven menyarankan memperbarui scorecard setelah harga, model, data, atau proses berubah. Simpan baseline tanpa AI. Jika net value tidak naik atau risiko membesar, penggunaan AI perlu dikurangi. Tujuannya bukan memaksimalkan konsumsi intelligence, melainkan mendapatkan outcome lebih baik dengan sumber daya yang bertanggung jawab.
Untuk laporan manajemen, sertakan numerator dan denominator secara eksplisit. Tulis jumlah tugas, success rate, total biaya, periode, dan sampel. Dengan begitu peningkatan rasio dapat ditelusuri: apakah karena kualitas membaik, biaya turun, volume berubah, atau tugas mudah mendominasi dataset.
Useful intelligence per dollar adalah kerangka outcome, bukan standar tunggal. Definisikan tugas sukses, nilai, biaya penuh, dependability, dan risiko; kemudian ukur pada data nyata. Harga token tetap berguna, tetapi hanya satu komponen. Scorecard yang baik menunjukkan trade-off dan dapat diaudit. Jika satu angka tidak mampu menangkap dampak, tampilkan beberapa metrik secara berdampingan agar keputusan AI tetap jujur dan dapat diperbaiki.