OpenAI mengusulkan useful intelligence per dollar sebagai cara melihat ekonomi AI di luar jumlah lisensi, pengguna aktif, atau harga per token. Scorecard-nya menanyakan berapa banyak pekerjaan penting yang selesai, berapa biaya satu hasil sukses, seberapa dapat diandalkan hasil tersebut, dan apakah nilai tumbuh lebih cepat daripada biaya. Kerangka ini berguna, tetapi metrik, nilai, dan pembanding harus ditentukan oleh pengguna, bukan vendor saja.
Mengapa harga token tidak cukup
Model dengan token murah dapat menghasilkan lebih banyak percobaan, koreksi, dan waktu review. Model yang lebih mahal mungkin menyelesaikan tugas dalam satu lintasan. Karena itu biaya per juta token tidak menjelaskan biaya penuh untuk mencapai hasil yang dapat dipakai. Organisasi perlu memasukkan retry, tool call, latency, tenaga manusia, evaluasi, dan kegagalan.
OpenAI memindahkan fokus dari konsumsi menuju pekerjaan yang selesai. Contohnya bukan berapa banyak chat dibuat, melainkan berapa tiket pelanggan terselesaikan, perubahan kode lolos pengujian, atau kontrak ditinjau dengan benar. Perubahan ini sehat selama definisi berhasil jelas dan tidak mengabaikan risiko yang sulit dihitung.
- Hitung biaya satu outcome sukses, bukan hanya biaya satu respons.
- Masukkan waktu review dan koreksi manusia.
- Bedakan tugas selesai dengan tugas yang hanya terlihat selesai.
- Catat kerugian dari error, keterlambatan, dan eskalasi.
Empat pertanyaan dalam scorecard
Pertanyaan pertama adalah apakah AI menyelesaikan pekerjaan yang benar-benar bernilai. Kedua, berapa biaya setiap tugas yang berhasil. Ketiga, seberapa sering hasil dapat dipercaya. Keempat, apakah setiap unit biaya menghasilkan lebih banyak nilai ketika pemakaian meningkat. Keempatnya saling terkait; volume tinggi tidak berguna bila dependability rendah.
Satu angka agregat dapat menyembunyikan perbedaan besar. Otomasi ringkasan rapat dan perubahan konfigurasi produksi memiliki konsekuensi yang tidak sama. Scorecard sebaiknya dibagi berdasarkan jenis tugas, tingkat risiko, model, dan level supervisi. Dengan segmentasi, organisasi dapat memilih model cepat untuk pekerjaan rutin dan model kuat untuk tugas yang membutuhkan penalaran lebih dalam.
- Useful work: outcome yang relevan bagi pengguna atau bisnis.
- Successful-task cost: biaya total sampai hasil diterima.
- Dependability: tingkat hasil yang benar dan dapat dipakai.
- Value at scale: perubahan nilai bersih saat volume naik.
Cara membangun baseline yang jujur
Sebelum memakai AI, ukur proses saat ini: waktu siklus, kualitas, biaya, backlog, error, dan kepuasan. Tanpa baseline, penghematan mudah dilebihkan. Pilih sampel tugas representatif, termasuk kasus sulit dan kegagalan umum. Evaluasi model dalam kondisi yang menyerupai produksi, bukan prompt demo yang sudah dioptimalkan.
Nilai juga alternatif non-AI. Perbaikan formulir, pencarian, dokumentasi, atau rule-based automation terkadang memberi manfaat lebih stabil dengan biaya lebih kecil. AI layak dipilih ketika menang pada outcome, bukan karena terlihat modern. Eksperimen harus memiliki kelompok pembanding dan kriteria penghentian jika manfaat tidak material.
Dependability harus memasukkan dampak kesalahan
Akurasi rata-rata tidak cukup jika sedikit kegagalan menyebabkan dampak besar. Bedakan error yang mudah dikoreksi, error yang lolos tanpa terlihat, dan tindakan yang sulit dipulihkan. Untuk keputusan medis, hukum, keuangan, keamanan, atau akses sistem, threshold dan review harus lebih ketat daripada tugas kreatif berisiko rendah.
Dependability juga mencakup konsistensi, citation fidelity, keamanan data, bias, dan kepatuhan. Sebuah respons benar tetapi membocorkan informasi sensitif tetap merupakan kegagalan. Organisasi perlu membuat rubric yang dapat diaudit, menguji perubahan model, dan memantau drift setelah deployment.
- Bobot error berdasarkan dampak, bukan jumlah saja.
- Uji kasus adversarial dan data di luar distribusi normal.
- Simpan sampel untuk evaluasi ulang ketika model berubah.
- Tetapkan jalur eskalasi serta rollback.
Mencegah scorecard berubah menjadi angka pemasaran
Vendor memiliki insentif menunjukkan modelnya menghasilkan nilai lebih tinggi. Pelanggan harus menguasai definisi outcome, data evaluasi, harga aktual, dan asumsi tenaga manusia. Klaim benchmark boleh menjadi hipotesis, bukan pengganti pilot. Laporkan interval ketidakpastian dan jangan memilih hanya periode terbaik.
TenFourSeven menyarankan dashboard sederhana yang menampilkan jumlah tugas, success rate, biaya total, menit review, insiden, dan nilai yang disepakati pemilik proses. Tinjau tiap bulan serta setelah perubahan model. Bila biaya turun tetapi kualitas atau kepercayaan pengguna memburuk, useful intelligence per dollar belum tentu meningkat.
Useful intelligence per dollar membantu memindahkan diskusi AI dari token dan kursi lisensi menuju outcome. Kerangka ini baru bernilai ketika organisasi memiliki baseline, definisi sukses, biaya penuh, rubric dependability, dan data produksi yang jujur. Gunakan klaim vendor sebagai titik awal, lalu ukur sendiri berdasarkan risiko serta manfaat nyata. AI yang lebih murah belum tentu lebih ekonomis, dan AI yang lebih kuat belum tentu layak untuk setiap tugas.