Penulis adalah honorable Faculty lembaga Pengembangan Perbankan indonesia (lPPi). Artikel ini merupakan pendapat pribadi.
Infobank
MULTIMODAL AI (MAI) adalah jenis artificial intelligence (AI) yang dapat memproses dan mengintegrasikan informasi dari berbagai jenis data (modalitas), seperti teks, gambar, audio, dan video (Cole Stryker, IBM Think 2025). Definisi MAI lainnya menurut McKinsey (2025) adalah jenis kecerdasan buatan yang dapat memahami dan memproses berbagai jenis informasi, seperti teks, gambar, audio, dan video, secara bersamaan.
Berdasarkan definisi tersebut, MAI dapat melakukan tugas yang lebih kompleks dan membuat prediksi yang lebih akurat. MAI dapat menyempurnakan ringkasan dengan menyertakan gambar atau klip audio yang relevan sehingga menghasilkan keluaran yang lebih kaya dan informatif.
Menurut Carnegie Mellon (2022), ada tiga karakteristik MAI, yaitu heterogenitas, koneksi, dan interaksi. Heterogenitas mengacu pada kualitas, struktur, dan representasi jenis data yang beragam. Sedangkan, koneksi mengacu pada informasi komplementer yang tecermin dalam kesamaan statistik atau dalam korespondensi semantik. Kemudian, terkait dengan interaksi, mengacu pada sistem kecerdasan buatan yang mampu memproses dan mengintegrasikan informasi dari berbagai jenis data. Secara keseluruhan, MAI memiliki kemampuan untuk meningkatkan interaksi antara heterogenitas, koneksi, dan interaksi.
McKinsey (2025) juga menyatakan bahwa MAI adalah suatu model yang mencerminkan kemampuan “otak” untuk menggabungkan masukan sensorik demi pemahaman dunia yang bernuansa holistik. Dalam keseharian manusia adalah bagaimana manusia menggunakan beragam indranya untuk memahami suatu realitas. Dengan menggabungkan kekuatan berbagai jenis konten (termasuk teks, gambar, audio, dan video) dari berbagai sumber, akhirnya MAI dikembangkan menjadi Gen AI Multimodal (GAIM). GAIM dapat memahami data secara lebih komprehensif, memungkinkan memproses pertanyaan lebih kompleks, tetapi menghasilkan lebih sedikit keluaran yang tidak akurat atau berpeluang tidak relevan bahkan bisa menyesatkan.
Kehadiran GAIM, khususnya bagi lembaga keuangan, terutama perbankan, dapat memberikan respons lebih cepat dan akurat terkait dengan deteksi penipuan, layanan jasa keuangan yang dipersonalisasi, serta meningkatkan wawasan dan keterlibatan pelanggan.
Lebih Komprehensif
Dengan menggabungkan berbagai data, GAIM dapat menghasilkan keluaran yang lebih tepat, andal, dan “mirip manusia”. Dalam skenario kompleks seperti mengemudi, misalnya, GAIM dapat memproses data dari kamera, radar, dan sensor secara bersamaan sehingga menghasilkan keputusan yang lebih aman dan lebih cepat.
Dengan demikian, GAIM dapat menghasilkan pengalaman pengguna yang lebih intuitif. Contoh teknologi ini termasuk Gemini milik Google, yang dirancang untuk menangani teks, kode, audio, dan gambar yang lebih akurat. Hal yang sama juga akan didapatkan bila GAIM digunakan untuk perawatan kesehatan sehingga dapat meningkatkan akurasi diagnostik.
Secara universal, GAIM dapat mentransfer pengetahuan di berbagai domain – misalnya, menggunakan data teks untuk meningkatkan pengenalan gambar – sehingga lebih serbaguna jika dibandingkan dengan sistem mode tunggal. Manfaat lainnya adalah mampu meningkatkan pemantauan jutaan transaksi secara real-time untuk mendeteksi pola penipuan. GAIM juga dapat membantu memperluas layanan ke segmen yang lebih khusus, misalnya dalam pembiayaan mikro dan menyediakan dukungan layanan multibahasa.
Sekadar ilustrasi saja, dapat kita pelajari asisten virtual Bank of America, yang dinamai Erica. Aplikasi Erica telah digunakan lebih dari 25 juta nasabahnya dengan kemampuan menyediakan fasilitas aplikasi yang memiliki kemampuan pengenalan suara, teks, dan gambar. Dengan konfigurasi tersebut, nasabah dapat melakukan hal-hal terkait dengan memeriksa saldo rekening dan menerima saran dan/atau nasihat keuangan dengan cara yang lebih komunikatif. Kelebihan lain Erica adalah memungkinkan interaksi layanan pelanggan yang personal dan intuitif, seperti perintah teks atau gambar realistis, teks, audio, serta video.
Contoh kegunaan GAIM lainnya antara lain aplikasi seperti Otter.ai yang dapat mentranskripsikan rapat, meringkas poin-poin penting, dan menetapkan tugas. Kemudian, ada Smart Compose Google, yang dapat membantu pekerja menulis email lebih cepat dan lebih akurat.
Kehadiran GAIM dapat dikatakan mewakili perubahan mendasar, misalnya dalam cara sistem keuangan memproses informasi. Sistem ini menciptakan kecerdasan yang lebih terpadu karena dapat memproses berbagai jenis data secara bersamaan. Misalnya, ketika nasabah akan mengajukan kredit untuk rumah atau ruko.
Ada pula Crescendo.ai yang dapat membantu memahami nada, emosi, dan maksud di luar kata-kata. Crescendo.ai juga dapat mendengarkan panggilan, menganalisis konteks obrolan, membaca dokumen dan gambar terlampir, serta merekomendasikan tindakan terbaik bagi pemakainya.
Beberapa Catatan
Kehadiran GAIM, khususnya bagi lembaga keuangan, terutama perbankan, dapat memberikan respons lebih cepat dan akurat terkait dengan deteksi penipuan, layanan jasa keuangan yang dipersonalisasi, serta meningkatkan wawasan dan keterlibatan pelanggan. GAIM juga memungkinkan saran keuangan dan rekomendasi produk yang dipersonalisasi berdasarkan perilaku individu. Dampaknya, upaya mengotomatiskan tugas manual dan berulang memungkinkan karyawan untuk fokus pada aktivitas lainnya.
Menurut LexisNexis (2025), hal lain yang menjadi nilai tambah penggunaan GAIM adalah dapat mendeteksi penipuan identitas yang saat ini menjadi fenomena yang sering terjadi. GAIM juga dapat mengintegrasikan dan memproses berbagai jenis data untuk melakukan tugas yang membutuhkan pemahaman lebih luas tentang pelbagai masukan. Hal lain adalah tersedianya kenyamanan dan kelengkapan informasi di satu pihak dan keamanan yang lebih canggih di lain pihak. Dapat disimpulkan bahwa GAIM merupakan salah satu kebutuhan universal yang selalu diharapkan oleh nasabah maupun bank khususnya.
Ada beberapa hal yang perlu diperhatikan bila hendak menggunakan GAIM. Salah satu hambatan signifikan adalah penyelarasan dan sinkronisasi data, memastikan bahwa data dari modalitas yang berbeda sesuai dengan benar dalam waktu, ruang, atau semantik. Tantangan utama lainnya terletak pada kebutuhan komputasi dan memori dari model multimodal, yang biasanya jauh lebih tinggi daripada sistem unimodal.
Hal penting lainnya terkait dengan penggunaan GAIM yang perlu mendapatkan perhatian adalah bagaimana melatih GAIM agar dapat mengatasi serangkaian tantangan unik karena kompleksitas dalam mengintegrasikan berbagai jenis data. Akan berlaku kaidah garbage in garbage out sehingga kualitas data menjadi faktor utama untuk menghadirkan GAIM yang berkualitas dan manfaat yang optimal.
Berdasarkan definisi tersebut, MAI dapat melakukan tugas yang lebih kompleks dan membuat prediksi yang lebih akurat. MAI dapat menyempurnakan ringkasan dengan menyertakan gambar atau klip audio yang relevan sehingga menghasilkan keluaran yang lebih kaya dan informatif.
