Desain Runtime Eksekusi Tool Agent

Prompt latihan

1. Ruang Lingkup, Kebutuhan Fungsional, dan Asumsi Skala

   Tentukan lingkup runtime tool: siapa penggunanya (tim internal yang membangun agent), tool jenis apa yang didukung (panggilan HTTP internal, kueri baca basis data, eksekusi kode pendek), dan siapa yang boleh mendaftarkan tool baru. Nyatakan non-goal, misalnya hosting model dan orkestrasi multi-agent. Tutup dengan asumsi skala: jumlah agent aktif, panggilan tool per detik, dan proporsi tool yang mengubah keadaan.

2. Kebutuhan Non-Fungsional

   Tetapkan NFR runtime: overhead latency yang ditambahkan runtime di luar waktu eksekusi tool itu sendiri, ketersediaan, isolasi antar penyewa, dan batas sumber daya per eksekusi (CPU, memori, waktu, jaringan keluar). Putuskan juga postur ketika runtime tidak yakin: menolak eksekusi atau meneruskan, dan jelaskan alasannya dari sisi risiko.

3. Analisis Kuantitatif

   Turunkan beban runtime: panggilan tool per detik pada jam sibuk dari jumlah tugas agent dan rata-rata panggilan tool per tugas. Hitung kebutuhan pekerja sandbox dari waktu eksekusi rata-rata dan konkurensi, ukuran rata-rata hasil tool sebelum dan sesudah pemangkasan, serta volume log audit per hari. Tunjukkan komponen mana yang jadi bottleneck lebih dulu.

4. Desain API Registry dan Eksekusi

   Rancang API runtime: pendaftaran dan pembaruan definisi tool dengan versi, pengambilan daftar tool yang boleh dipakai satu agent, eksekusi satu panggilan tool, dan pengambilan status eksekusi panjang. Tentukan bentuk hasil yang seragam untuk sukses dan gagal, termasuk penanda apakah error boleh dicoba ulang, serta cara kunci idempotensi dilewatkan untuk tool yang mengubah keadaan.

5. Desain Tingkat Tinggi

   Gambar komponen runtime: registry tool, gateway eksekusi, validator skema, mesin kebijakan izin, kolam pekerja sandbox, pembatas jaringan keluar, penormal hasil, dan penulis jejak audit. Tunjukkan jalur satu panggilan tool dari permintaan agent sampai hasil kembali, dan tandai di titik mana permintaan bisa ditolak.

6. Pertanyaan Lanjutan Desain Tingkat Tinggi

   Jawab tiga hal. Pertama, bagaimana versi definisi tool berubah tanpa merusak agent yang sedang berjalan. Kedua, bagaimana runtime membatasi jumlah tool yang dikirim ke model supaya akurasi pemilihan tidak turun ketika katalog membengkak. Ketiga, bagaimana hasil tool yang besar dipangkas atau diringkas sebelum masuk konteks, dan siapa yang menanggung biaya peringkasan itu.

7. Deep Dive Isolasi dan Pemulihan

   Masuk ke detail. Bandingkan isolasi tingkat proses, kontainer, dan microVM dari sisi overhead start, kekuatan isolasi, dan biaya operasi. Rancang loop percobaan ulang yang aman: error mana yang boleh diulang, backoff seperti apa, dan bagaimana kunci idempotensi mencegah efek ganda ketika tool hilir sebenarnya sudah berhasil. Terakhir, jelaskan bagaimana error dikembalikan ke model supaya ia memperbaiki argumen alih-alih mengulang panggilan yang sama.

8. Kesiapan Serah Terima Final Review

   Tutup desain Anda: sebutkan pilihan isolasi dan alasannya, kontrak hasil dan error yang seragam, model izin yang dipakai, angka overhead runtime, dua risiko yang masih terbuka, serta rencana peluncuran mulai dari tool baca saja sampai tool yang mengubah keadaan.

Preview solusi

Jalur referensi Solusi Runtime Eksekusi Tool Agent adalah materi baca read-only. Pakai untuk membandingkan desain Anda sebelum latihan atau sesudahnya. Perlakukan runtime sebagai API internal biasa: kontrak berversi, validasi, otorisasi, kuota, dan audit. Model memilih tool; runtime yang memutuskan boleh atau tidak, dengan identitas sesi. Satu bentuk hasil u…