Node.js Diterbitkan: • Diperbarui: • 4 menit baca • 4 views

Worker Threads & BullMQ di Node.js: Menjaga Event Loop Tetap Responsif Saat Tugas CPU Berat

Juan Mths
Juan Mths
Chief Technology Officer & Administrator
Ilustrasi Worker Threads & BullMQ di Node.js: Menjaga Event Loop Tetap Responsif Saat Tugas CPU Berat

Node.js terkenal mampu melayani ribuan koneksi serentak hanya dalam satu utas utama (single-threaded Event Loop). Keunggulan itu bekerja sangat baik selama tugas aplikasi didominasi oleh operasi I/O asinkron seperti membaca basis data, memanggil API lain, atau mengirim respons HTTP—yang sebagian besar waktunya dihabiskan menunggu sistem operasi di luar JavaScript.

Begitu kode aplikasi mengeksekusi komputasi sinkron berat—misalnya merender laporan PDF berhalaman-halaman, memvalidasi ribuan baris Excel di memori, atau mengolah gambar beresolusi tinggi—seluruh Event Loop terhenti. Selama beberapa detik itu, pengunjung lain yang hanya ingin membuka halaman beranda pun ikut membeku. Setelah membahas arsitektur API pada panduan REST API Express.js dan olah berkas di Node.js Streams, kita bahas dua senjata utama pencegah Event Loop tersumbat: Worker Threads dan BullMQ.

Mengukur Dampak Event Loop Delay Sebelum Memilih Alat

Banyak tim salah mengira bahwa menambahkan async di depan fungsi otomatis membuat kode berjalan di latar belakang secara paralel. Faktanya, kode JavaScript di dalam fungsi async sebelum await tetap berjalan sinkron di utas utama. Anda dapat memantau kesehatan Event Loop secara langsung memakai modul bawaan node:perf_hooks:

import { monitorEventLoopDelay } from 'node:perf_hooks';

const histogram = monitorEventLoopDelay({ resolution: 20 });
histogram.enable();

setInterval(() => {
  const p99Ms = (histogram.percentile(99) / 1e6).toFixed(2);
  if (Number(p99Ms) > 50) {
    console.warn(`[PERINGATAN] Event Loop lag p99 mencapai ${p99Ms} ms`);
  }
  histogram.reset();
}, 10_000).unref();
Diagram arsitektur memisahkan Main Event Loop HTTP Node.js dari Worker Threads Pool dan antrean BullMQ berbasis Redis
Main Event Loop tetap melayani I/O HTTP secara instan, sementara beban CPU langsung dilempar ke Worker Threads dan pekerjaan latar berjadwal ditangani antrean BullMQ.

Perbedaan Fundamental: Worker Threads vs BullMQ

Aspek Teknis node:worker_threads BullMQ (+ Redis)
Jenis Masalah Komputasi CPU berat yang hasilnya harus segera dikembalikan ke request HTTP saat itu juga. Tugas latar berdurasi lama yang boleh selesai asinkron dan perlu diulang otomatis jika gagal.
Ketahanan Saat Restart Hilang bila proses kontainer mati sebelum tugas selesai. Tersimpan persisten di Redis; otomatis dilanjutkan saat worker nyala kembali.
Contoh Kasus Nyata Konversi gambar/PDF instan, verifikasi tanda tangan kriptografi, olah array numerik besar. Kirim ribuan email notifikasi, sinkronisasi webhook pembayaran, generate laporan bulanan.

Contoh 1: Memindahkan Tugas CPU ke Worker Thread

Membuat utas baru tiap satu permintaan HTTP (new Worker() per request) terbilang mahal (~30 ms overhead startup V8 isolate). Di produksi, bungkus pemanggilannya dengan worker pool (atau pustaka ringan seperti piscina), tetapi memahami mekanisme dasar Worker membantu Anda memetakan alurnya secara utuh:

// workers/hashWorker.mjs
import { parentPort, workerData } from 'node:worker_threads';
import { pbkdf2Sync } from 'node:crypto';

const derivedKey = pbkdf2Sync(workerData.secret, workerData.salt, 310_000, 32, 'sha256');
parentPort.postMessage(derivedKey.toString('hex'));

// services/runHashWorker.mjs
import { Worker } from 'node:worker_threads';

export function deriveKeyInWorker(secret, salt) {
  return new Promise((resolve, reject) => {
    const worker = new Worker(new URL('../workers/hashWorker.mjs', import.meta.url), {
      workerData: { secret, salt },
    });
    worker.once('message', resolve);
    worker.once('error', reject);
    worker.once('exit', (code) => {
      if (code !== 0) reject(new Error(`Worker berhenti dengan kode ${code}`));
    });
  });
}

Contoh 2: Antrean Latar Tahan Gagal dengan BullMQ

Jika pengguna menekan tombol Ekspor Laporan Tahunan yang butuh waktu 25 detik, memaksanya menunggu di koneksi HTTP berisiko terkena Gateway Timeout (504) dari Nginx atau Cloudflare. Sebagai gantinya, API langsung mengembalikan status 202 Accepted dan mendaftarkan pekerjaan ke BullMQ:

// queues/reportQueue.mjs
import { Queue, Worker } from 'bullmq';
import IORedis from 'ioredis';

const connection = new IORedis(process.env.REDIS_URL, { maxRetriesPerRequest: null });

export const reportQueue = new Queue('annual-reports', { connection });

// Dipanggil di Controller HTTP
export async function enqueueReportJob(userId, year) {
  const job = await reportQueue.add(
    'generate-pdf',
    { userId, year },
    {
      attempts: 3,
      backoff: { type: 'exponential', delay: 3000 },
      removeOnComplete: 500,
    }
  );
  return job.id;
}

// Dijalankan pada proses Worker terpisah (node workers/reportConsumer.mjs)
export const reportWorker = new Worker(
  'annual-reports',
  async (job) => {
    const { userId, year } = job.data;
    await generateAndStorePdf(userId, year);
  },
  { connection, concurrency: 4 }
);

Dengan menjalankan proses Worker terpisah dari proses web API, lonjakan beban pembuatan laporan tidak akan pernah menyentuh memori maupun Event Loop server HTTP utama. Di saat bersamaan, fitur backoff eksponensial memastikan gangguan sementara dari layanan eksternal dapat dicoba ulang secara otomatis tanpa kehilangan pekerjaan pengguna.

Diskusi & Komentar

0

Sampaikan pertanyaan teknis, masukan, atau feedback Anda seputar artikel ini.

Tulis Komentar
* Tautan dalam komentar otomatis diamankan dengan atribut rel="nofollow ugc". Maks 2.000 karakter
Komentar langsung terbit setelah lolos filter spam.

Belum Ada Komentar

Jadilah pembaca pertama yang memulai diskusi menarik atau bertanya seputar materi artikel ini!