NVIDIA Nemotron 3 Ultra: Model AI Open Source 550 Miliar Parameter yang Didesain untuk Agen Jangka Panjang

CLB.my.id - NVIDIA merilis Nemotron 3 Ultra, model AI open source terbesar dan tercanggih mereka hingga saat ini. Dengan 550 miliar parameter dan arsitektur Mixture-of-Experts (MoE) yang hanya mengaktifkan 55 miliar parameter pada setiap inferensi, model ini dirancang khusus untuk mengorkestrasi workflow agen AI yang kompleks dan berjalan dalam waktu lama. Kecepatan throughput-nya diklaim lima kali lebih tinggi dibanding model open sekelasnya, dengan penghematan biaya hingga 30 persen untuk tugas agen.

Rilis ini menandai langkah besar NVIDIA dalam persaingan model AI open source. Bukan sekadar merilis bobot model, NVIDIA juga membuka seluruh resep pelatihan, data, dan lingkungan reinforcement learning, sehingga developer bisa menyesuaikan model untuk kebutuhan domain spesifik.

Arsitektur Hybrid yang Menggabungkan Dua Dunia

Keunggulan utama Nemotron 3 Ultra terletak pada arsitektur hybrid Mamba-Transformer. Lapisan Mamba menangani konteks panjang secara efisien, sementara lapisan Transformer mempertahankan kemampuan recall presisi ketika agen perlu mengambil fakta spesifik dari jendela konteks yang besar. Kombinasi ini sangat penting untuk agen yang bekerja dengan dokumen panjang, percakapan multi-giliran, atau pipeline kode yang panjang.

Model ini juga menggunakan teknik NVFP4 quantization yang memungkinkan satu checkpoint berjalan di berbagai arsitektur GPU NVIDIA, termasuk Hopper, Blackwell, dan Ampere. Dengan NVFP4, throughput per GPU bisa naik hingga lima kali lipat dibanding BF16 pada Blackwell, tanpa mengorbankan interaktivitas.

Teknik LatentMoE memungkinkan routing expert yang lebih efisien, sehingga model bisa menangani workflow yang mencakup reasoning, pembuatan kode, pemanggilan tools, dan logika domain spesifik dalam satu sesi. Sementara itu, multi-token prediction mempercepat generasi dengan memprediksi beberapa token sekaligus dalam satu forward pass.

Metode Pelatihan Baru: Belajar dari 10 Guru Sekaligus

NVIDIA memperkenalkan metode pelatihan bernama Multi-Teacher On-Policy Distillation (MOPD). Dalam pendekatan ini, Nemotron 3 Ultra belajar dari lebih dari 10 model guru yang sudah terspesialisasi, masing-masing dengan pipeline pelatihan domainnya sendiri. Setiap guru memberi skor pada model di bidang keahliannya, membantu Ultra meningkatkan kemampuan reasoning lintas domain secara lebih efisien.

Proses ini berjalan secara asinkron dengan pipeline yang mengalir: student menghasilkan percobaan, guru menilai, dan optimasi dilakukan secara iteratif. Hasilnya adalah perbaikan kemampuan yang berkelanjutan dan spesialisasi domain yang semakin kuat dari waktu ke waktu.

Model ini dibangun di atas fondasi pre-training 10 triliun token, ditambah 212 miliar token domain spesifik baru yang mencakup data hukum sintetis, data wiki yang disintesis, dan token GitHub yang diperbarui hingga September 2025. NVIDIA juga merilis 10 juta sampel SFT baru dan 1 juta tugas RL baru di 15 lingkungan RL baru.

Performa di Benchmark Utama

Dalam pengujian, Nemotron 3 Ultra mencatat skor SWEBench Verified antara 65 hingga 70,4 persen di berbagai framework agen termasuk Pi, OpenHands, Hermes, OpenCode, dan Mini SWE Agent. Performa yang konsisten ini menunjukkan bahwa model tidak bergantung pada framework tertentu untuk memberikan hasil yang baik.

Pada benchmark Agent Productivity (PinchBench), model ini mencapai 91 persen, menyamai Kimi K2.6 yang berukuran 1 triliun parameter. Untuk konteks panjang, Nemotron 3 Ultra mencapai 95 persen pada Ruler di 1 juta token, sementara kompetitor terdekatnya hanya mendukung konteks maksimal 256 ribu token.

Ekosistem dan Ketersediaan

Nemotron 3 Ultra tersedia secara terbuka melalui lisensi OpenMDW-1.1 dari Linux Foundation, lisensi permisif yang dirancang khusus untuk distribusi model AI. Model tersedia melalui NVIDIA NIM microservice, build.nvidia.com, dan bobot di Hiring Face.

NVIDIA juga merilis dua model pendamping: Nemotron 3.5 Content Safety, model guardrail 4 miliar parameter untuk klasifikasi konten tidak aman di 23 kategori dan 12 bahasa, serta Nemotron 3.5 ASR, model ucapan multibahasa untuk 40 bahasa dengan latensi di bawah 100 milidetik untuk orkestrasi suara real-time.

Bagi developer Indonesia yang membangun sistem agen AI, rilis ini membuka peluang besar. Model open source sebesar ini dengan resep pelatihan yang sepenuhnya terbuka memungkinkan tim kecil sekalipun untuk menyesuaikan dan menerapkan agen AI tingkat lanjut tanpa harus bergantung pada API berbayar dari perusahaan besar.***