Pretraining memberi model pola bahasa serta pengetahuan umum, tetapi belum menjamin ia mengikuti instruksi, memakai tool, atau pulih dari kegagalan. Post-training menggunakan demonstrasi, preferensi, reinforcement learning, evaluasi, dan feedback untuk membentuk perilaku. Pada agentic AI, tool serta lingkungan terus berubah sehingga post-training menjadi loop yang berulang, bukan tahap akhir sekali jalan.
Perbedaan pretraining dan post-training
Pretraining biasanya belajar memprediksi token dari korpus besar. Hasilnya adalah kemampuan umum, tetapi respons dapat tidak selaras dengan tugas pengguna. Post-training memperkenalkan contoh instruksi, ranking preferensi, reward, atau lingkungan interaktif agar model lebih berguna dan aman pada perilaku tertentu.
Post-training tidak menambahkan fakta secara sederhana seperti mengisi database. Ia mengubah distribusi perilaku: kapan menjawab, bagaimana mengikuti format, memilih tool, atau menolak. Retrieval dan tool tetap dibutuhkan untuk informasi terbaru. Model juga dapat kehilangan kemampuan tertentu jika proses terlalu sempit.
- SFT belajar dari demonstrasi input-output.
- Preference training membandingkan kualitas respons.
- RL mengoptimalkan reward melalui rollout.
- Evals mengukur perubahan dan regression.
Mengapa agen membuat masalah lebih sulit
Agen tidak hanya menulis jawaban. Ia merencanakan, mencari, memanggil API, mengubah file, dan bereaksi pada hasil. Kesalahan awal dapat berlipat sepanjang langkah. Tool berubah, halaman berganti, kredensial kedaluwarsa, dan prompt injection masuk melalui data eksternal.
Post-training dapat mengajarkan kebiasaan seperti memeriksa keadaan, meminta konfirmasi, memakai tool yang tepat, dan berhenti ketika tidak aman. Namun perilaku tersebut harus diuji pada environment realistis. Agen yang berhasil pada sandbox sederhana belum tentu tahan terhadap noise produksi.
Bagaimana reinforcement learning bekerja secara konseptual
Model mencoba menyelesaikan tugas dalam rollout. Verifier atau reward model menilai hasil, lalu algoritme memperbarui bobot agar strategi bernilai tinggi lebih mungkin muncul. Pada coding, reward dapat berasal dari test; pada navigasi, dari pencapaian tujuan; pada layanan, dari rubric kualitas.
Reward yang salah dapat menghasilkan reward hacking. Model menemukan jalan memperoleh skor tanpa memenuhi niat. Karena itu verifier, environment, dan dataset sama pentingnya dengan compute. Human review diperlukan pada sampel serta edge case. Tidak semua kualitas dapat direduksi menjadi satu reward.
- Rollout perlu beragam dan mewakili produksi.
- Verifier harus sulit dimanipulasi.
- Reward perlu mencakup safety dan kualitas.
- Regression test menjaga kemampuan lama.
Feedback produksi dan risiko continual loop
Insiden, koreksi pengguna, dan kegagalan tool dapat menjadi sumber contoh baru. Namun data produksi mengandung privasi, bias seleksi, dan perilaku penyerang. Data harus disaring, diberi izin, dianonimkan, serta dipisahkan dari evaluasi agar model tidak sekadar menghafal test.
Loop terlalu cepat dapat mendorong perubahan yang belum dipahami. Versi model, dataset, reward, dan environment harus dilacak. Deployment canary serta rollback membantu membatasi dampak. Continual learning bukan alasan memperbarui model tanpa governance.
Apa yang perlu diukur
Ukur task success, jumlah langkah, tool error, latency, biaya, koreksi, dan insiden. Untuk agen, nilai apakah ia mengikuti scope serta berhenti pada kondisi tepat. Benchmark kemampuan umum tidak menggantikan evaluasi workflow. Laporan juga harus menyertakan kasus gagal.
TenFourSeven melihat post-training sebagai disiplin produk dan operasi, bukan hanya training run. Tim memerlukan data, environment, verifier, compute, safety, serta observability. Peningkatan model baru bernilai ketika outcome pengguna membaik tanpa menaikkan risiko secara tidak proporsional.
Sebelum memulai program post-training sendiri, bandingkan dengan prompt engineering, retrieval, tool redesign, atau model routing. Banyak masalah berasal dari konteks buruk dan antarmuka tool, bukan bobot model. Bila post-training memang diperlukan, mulai dengan objective sempit, holdout eval yang tidak dipakai melatih, serta review manusia pada kegagalan berisiko tinggi. Dokumentasikan data lineage dan izin penggunaan.
- Success rate dan severity kegagalan.
- Biaya per tugas sukses.
- Jumlah intervensi manusia.
- Stabilitas setelah perubahan tool.
Post-training mengubah model umum menjadi sistem yang lebih sesuai untuk instruksi dan agen. SFT, preferensi, RL, evals, serta feedback membentuk perilaku, tetapi kualitasnya bergantung pada data serta reward. Agentic AI menjadikan loop ini berulang karena lingkungan terus berubah. Organisasi perlu mengelola versi, privasi, verifier, safety, canary, dan rollback agar perbaikan kemampuan tidak berubah menjadi regresi atau tindakan tak terkendali. Ukur keberhasilan pada tugas nyata dan tetap pertahankan kontrol manusia untuk keputusan sensitif. Sistem yang belajar lebih cepat belum tentu lebih berguna bila evaluasinya lemah atau dampak kegagalannya tidak dipahami.