AI & Automation: Diterbitkan: • Diperbarui: • 4 menit baca • 5 views

Integrasi LLM API di Aplikasi Web: Structured Output JSON, Streaming SSE, & Batas Rate Limit

Juan Mths
Juan Mths
Chief Technology Officer & Administrator
Ilustrasi Integrasi LLM API di Aplikasi Web: Structured Output JSON, Streaming SSE, & Batas Rate Limit

Memasukkan fitur kecerdasan buatan ke aplikasi web—seperti asisten ringkasan dokumen, generator tag otomatis, atau ekstraktor data formulir—kini sangat mudah lewat API model bahasa besar (LLM). Namun banyak prototipe cepat berhenti berfungsi begitu diuji publik karena tiga masalah teknis: API Key bocor di bundel frontend, tampilan terasa macet menunggu 12 detik sebelum satu kata pun muncul, atau format respons AI berubah-ubah sehingga fungsi JSON.parse() melempar galat di tengah jalan.

Sebagai kelanjutan teknis dari artikel konseptual panduan Agentic AI serta praktik permintaan asinkron di Async/Await & AbortSignal, panduan ini menyajikan pola arsitektur integrasi LLM API yang aman, hemat biaya, dan dapat diandalkan di produksi.

1. Wajib Lewat Proxy Backend + Pengaman Biaya (Guardrail)

Jangan pernah memanggil endpoint penyedia LLM langsung dari komponen Vue atau React di browser. Siapa pun dapat membuka tab Network di DevTools, menyalin kunci API Anda, lalu menghabiskan kuota tagihan dalam hitungan menit. Selalu sediakan endpoint perantara (proxy) di server Laravel atau Node.js yang menerapkan empat pengaman dasar:

  • Batas laju (Rate Limiting) per pengguna dan IP: Cegah bot mengirim ratusan permintaan mahal per menit.
  • Batas panjang input & max_tokens: Batasi jumlah karakter masukan dan keluaran agar ukuran konteks tidak melonjak tak terkendali.
  • Batas waktu (AbortSignal.timeout): Putus permintaan menggantung jika API penyedia sedang mengalami gangguan latensi.
  • Pencatatan metrik token & latensi: Simpan jumlah token masuk/keluar per permintaan untuk memantau biaya fitur.
Diagram alur proxy backend AI API membagi cabang Server-Sent Events (SSE) dan Structured Output JSON tervalidasi dengan Rate Limit
Proxy server menjaga API Key tetap rahasia sekaligus memisahkan jalur Streaming SSE untuk pengalaman baca cepat dan jalur JSON tervalidasi untuk otomasi backend.

2. Streaming Respons Bertahap dengan Server-Sent Events (SSE)

Untuk fitur interaktif seperti tanya jawab dokumen atau penyuntingan teks panjang, menunggu seluruh paragraf selesai dihasilkan membuat pengguna mengira aplikasi macet. Dengan mengirim aliran potongan teks lewat header text/event-stream, teks mulai tampil kata demi kata dalam hitungan kurang dari satu detik.

Berikut contoh endpoint proxy Express/Node.js yang meneruskan abort sinyal ketika pengguna menutup tab atau menekan tombol Hentikan:

// Endpoint SSE streaming di Express/Node.js
export async function streamAiSummary(req, res) {
  const userText = String(req.body?.text ?? '').slice(0, 4000);
  if (userText.trim().length < 20) {
    return res.status(422).json({ message: 'Teks terlalu pendek untuk diringkas.' });
  }

  res.setHeader('Content-Type', 'text/event-stream; charset=utf-8');
  res.setHeader('Cache-Control', 'no-cache, no-transform');
  res.setHeader('Connection', 'keep-alive');

  const controller = new AbortController();
  // Jika klien memutus koneksi (tutup tab / klik Stop), batalkan panggilan ke API AI!
  req.on('close', () => controller.abort());

  try {
    const upstreamStream = await requestModelStream(userText, {
      signal: controller.signal,
      maxOutputTokens: 600,
    });

    for await (const chunkText of upstreamStream) {
      res.write(`data: ${JSON.stringify({ delta: chunkText })}\n\n`);
    }

    res.write('event: done\ndata: {}\n\n');
    res.end();
  } catch (err) {
    if (err.name !== 'AbortError') {
      res.write(`event: error\ndata: ${JSON.stringify({ message: 'Layanan AI sedang sibuk.' })}\n\n`);
      res.end();
    }
  }
}

3. Mendapatkan JSON Konsisten Memakai Structured Output + Validasi Skema

Jangan lagi menulis prompt seperti "Tolong balas HANYA dengan JSON tanpa markdown backticks"—model AI terkadang tetap menyelipkan kalimat pembuka atau blok kode. Sebagian besar API LLM modern sudah menyediakan fitur Structured Outputs / Response Schema berbasis JSON Schema di level API.

Meski begitu, terapkan prinsip pertahanan berlapis di kode aplikasi Anda: selalu parse secara aman dan verifikasi hasil keluaran model dengan skema validasi (seperti Zod di Node.js atau validasi array di PHP) sebelum menyimpannya ke database:

import { z } from 'zod';

const ArticleTagsSchema = z.object({
  category: z.enum(['Laravel', 'Vue.js', 'React', 'Node.js', 'Keamanan Web']),
  suggested_tags: z.array(z.string().min(2).max(30)).min(1).max(5),
  summary_excerpt: z.string().min(40).max(180),
});

export function parseStructuredResult(rawModelText) {
  const decoded = JSON.parse(rawModelText);
  const validated = ArticleTagsSchema.safeParse(decoded);

  if (!validated.success) {
    throw new Error('Keluaran model tidak memenuhi kontrak JSON Schema yang diharapkan.');
  }
  return validated.data;
}

Memilih Pola Integrasi yang Tepat Sesuai Fitur

Skenario Fitur Mode Respons Fokus Utama di Produksi
Chatbot dokumentasi / asisten penulisan Streaming SSE (text/event-stream) Escape markdown/HTML di browser agar output AI tidak menjadi celah XSS, serta dukung tombol Batal.
Ekstraksi invoice, moderasi komentar, atau auto-tagging Structured Output JSON + Queue Validasi ulang skema di kode backend, siapkan nilai fallback, dan jalankan di background job jika memproses batch besar.

Sebagai pengingat keamanan penting: apabila keluaran teks dari model LLM berasal dari pemrosesan dokumen atau halaman eksternal yang dikirim pengguna, anggap selalu hasilnya sebagai konten tak tepercaya. Bersihkan markup sebelum dirender ke DOM dan jangan pernah mengeksekusi langsung isi teks AI sebagai query database maupun perintah sistem.

Diskusi & Komentar

0

Sampaikan pertanyaan teknis, masukan, atau feedback Anda seputar artikel ini.

Tulis Komentar
* Tautan dalam komentar otomatis diamankan dengan atribut rel="nofollow ugc". Maks 2.000 karakter
Komentar langsung terbit setelah lolos filter spam.

Belum Ada Komentar

Jadilah pembaca pertama yang memulai diskusi menarik atau bertanya seputar materi artikel ini!