Selama GDC 2024, Ubisoft secara resmi mengungkapkan NPC NEO-nya, teknologi AI generatif yang didukung untuk percakapan dalam permainan dan interaksi pemain dengan karakter non-playable. Proyek NEO NPC adalah kolaborasi antara pengembang di Ubisoft dan Inworld AI, yang menyediakan model bahasa besar (LLM) untuk NEO NPC, memungkinkan pengembang untuk membuat dan membentuk karakter dengan latar belakang, kepribadian, dan sikap mereka sendiri. Nvidia juga terlibat, menyediakan teknologi Audio2Face-nya untuk menganimasikan NPC NEO secara real time.

Meskipun teknologi NEO NPC masih dalam tahap awal, ada demo yang dapat dimainkan selama GDC untuk menampilkan teknologi tersebut dalam aksi. Ini termasuk tiga skenario terpisah di mana pemain berbicara langsung dengan NPC NEO dan berbincang dengan mereka, mendapatkan tanggapan real-time dan memajukan tujuan berdasarkan mendapatkan informasi dari NPC. 

Skenario pertama termasuk mempelajari tentang latar belakang karakter bernama Bloom, berbagi latar belakang Anda sendiri dalam arti bermain peran, dan mendapatkan informasi tentang kelompok perlawanan yang Anda terlibat. Skenario ini juga menampilkan bilah hubungan yang harus saya isi, mirip dengan RPG dengan elemen simulasi sosial, yang bereaksi terhadap sistem emosi dan topik yang sesuai tergantung pada tujuan dalam permainan. Melalui pengenalan suara open-source yang terintegrasi dengan NPC NEO dan Mesin AI Inworld, mereka dapat menginterpretasikan apa yang Anda katakan kepada mereka, merespons dengan cara yang sama, dan mengingat apa yang telah Anda katakan yang dapat dirujuk pada titik-titik tertentu nanti. Saya mencoba menguji sistem ini dengan memberi tahu mereka bahwa saya memiliki kekuatan luar biasa dan bahwa saya dulu berada di pihak musuh, dan Bloom bereaksi dengan tanggapan terukur dalam batas-batas yang ditetapkan di dunia permainan.

semua gambar dengan izin dari Ubisoft

Skenario kedua membuat saya menyaksikan feed video dari drone yang dikendalikan jarak jauh bersama Bloom, yang menunjukkan kemampuan NPC NEO untuk merespons hal-hal yang terjadi dalam lingkungan permainan dan kemampuan pemain untuk berbicara dengan mereka secara khusus tentang hal itu. Ada batasan dalam hal berinteraksi secara alami saat NPC fokus pada tugas yang berbeda, namun jika NPC fokus pada satu hal dan tidak dapat mengartikan sesuatu yang dikatakan kepadanya. 

Tahap ketiga dan terakhir dari demo membuat saya merencanakan operasi untuk menyusup ke dalam sebuah bangunan bersama NPC baru bernama Iron. Saat berbicara dengannya dan mengajukan pertanyaan memberikan wawasan lebih lanjut tentang tujuan operasi, itu lebih terstruktur seperti pohon dialog tradisional: ada tanggapan yang benar untuk hasil terbaik; misalnya, menyarankan hacker tim untuk menonaktifkan kamera daripada menciptakan penutup dengan granat asap adalah pilihan optimal.

Perlu dicatat bahwa tim narasi Ubisoft menentukan parameter untuk NEO NPC agar sesuai dengan lore dan cerita pengalaman, sehingga ada tingkat kurasi ketika datang ke penciptaan NEO NPC. Xavier Manzanares, yang sebelumnya menjadi produser utama di Mario + Rabbids: Sparks of Hope, sekarang menjadi produser proyek NEO NPC, dan dia berbicara tentang filosofi desain dalam sebuah presentasi.

"Hal yang selalu kami pertimbangkan adalah setiap teknologi baru yang ada di meja kami tidak dapat membuat game sendiri. Ia harus sejalan dengan desain dan inovasi juga. Sangat penting bahwa GenAI persis sama," kata Manzanares. Dia melanjutkan, "GenAI adalah alat, itu adalah teknologi. Itu tidak membuat game, itu harus terhubung dengan desain dan harus terhubung dengan tim yang benar-benar ingin mendorong sesuatu dengan teknologi tersebut. Pertanyaan yang selalu kita miliki dalam tim adalah, 'Apa yang ada untuk kreatif? Apa yang ada untuk pemain?'

Membesarkan NPC NEO

Jadi, mengisi teriakan NPC atau memiliki NPC yang lebih reaktif berdasarkan model GenAI hanyalah salah satu cara penggunaannya. Jelas merupakan alat untuk tim penulis, yang direktur naratif Virginie Mosser bicarakan dalam panel pasca-demo. “Jadi peran saya adalah untuk merawat mereka [NEO NPC] untuk membangun latar belakang, alur, kualitas, kolokialisme, karena penting untuk gaya percakapan. Diperlukan banyak konten agar mereka lebih koheren, memiliki kepribadian nyata, dan fokus emosi yang nyata," ujar Mosser ketika ditanya tentang bagaimana teknologi tersebut mengubah cara kerjanya. Dia juga menyebutkan bahwa dia memiliki keraguan dalam proyek tersebut

Kylan Gibbs, CEO dan co-founder Inworld AI, berbicara tentang batasan yang dapat ditetapkan oleh perancang untuk NPC, mengatakan, “Kami melalui berbagai langkah, tidak hanya seperti mendeteksi apa pun yang mungkin tidak aman dalam apa yang dikatakan pemain, memastikan model tidak pernah melihat itu, lalu mendeteksi topik yang mungkin tidak aman kemudian melewati berbagai filter keamanan.” Dia melanjutkan, “Kemudian ada kontrol naratif, memastikan bahwa Anda tidak keluar dari domain yang dimaksud dunia.” Gibbs menekankan bahwa alat tersebut juga memungkinkan pengembang membuat perilaku NEO NPC tetap berpegang pada informasi yang tim naratif berikan.

Saat ini, proyek NPC NEO melibatkan studio Ubisoft Paris, Montpellier, dan Montreal membentuk tim sekitar 30 orang, menurut Manzanares. Ini termasuk ilmuwan data senior Mélanie Lopez Malet dan direktur ilmiah David Louapre yang juga mengarahkan proyek tersebut. Saat ini, tidak ada aplikasi yang diketahui dari NPC NEO dalam game Ubisoft yang akan datang.

Pengembang game dan Konferensi Pengembang Game adalah organisasi saudara di bawah Informa Tech.