Bahasa model baru Meta, Llama 3, menggerakkan “Meta AI” yang penuh imajinasi, sebuah chatbot baru yang perusahaan media sosial dan periklanan telah pasang di sebanyak mungkin aplikasi dan antarmuka mereka. Bagaimana model ini sebanding dengan AI percakapan serba guna lainnya? Cenderung mengulang banyak hasil pencarian web, dan tidak unggul dalam hal apa pun, tetapi hei — harganya gratis.

Saat ini Anda bisa mengakses Meta AI secara gratis di web di Meta.ai, di Instagram, Facebook, WhatsApp, dan mungkin beberapa tempat lain jika itu tidak cukup. Ini sudah tersedia sebelumnya, tetapi rilis Llama 3 dan generator gambar Imagine baru telah membuat Meta mempromosikannya sebagai titik pertama bagi para penggemar AI. Bukankah Anda mungkin menggunakannya secara tidak sengaja karena mereka menggantikan kotak pencarian Anda dengannya!

Mark Zuckerberg bahkan mengatakan dia berharap Meta AI menjadi “asisten AI paling banyak digunakan dan terbaik di dunia.” Penting untuk memiliki tujuan.

Pengingat cepat tentang proses “ulasan” kami: Ini adalah evaluasi yang sangat informal tentang model, bukan dengan benchmark sintetis tetapi hanya dengan bertanya pertanyaan biasa yang mungkin dialami oleh orang normal. Kami membandingkan hasilnya dengan pengalaman kami dengan model lain, atau hanya dengan apa yang Anda harapkan dari salah satunya. Ini sangat jauh dari komprehensif, tetapi itu adalah sesuatu yang bisa dimengerti dan direplikasi oleh siapa pun.

Mengapa tidak mungkin meninjau AI, dan mengapa TechCrunch melakukannya dengan cara apapun

Kami selalu mengubah dan menyesuaikan pendekatan kami, dan kadang-kadang akan menyertakan sesuatu yang aneh yang kami temukan atau mengesampingkan sesuatu yang tidak sepertinya relevan. Misalnya, kali ini, meskipun kebijakan umum kami tidak mencoba mengevaluasi pembangkitan media (ini adalah situasi yang berbeda), rekan saya Ivan melihat bahwa model Imagine memperlihatkan serangkaian bias seputar orang India. Kami akan segera memiliki artikel itu (Meta mungkin sudah mengetahui hal ini).

Juga, sebagai PSA di awal, Anda harus tahu bahwa bug yang tampaknya terjadi di Instagram mencegah saya menghapus kueri yang saya kirim. Jadi saya akan menghindari bertanya hal-hal yang tidak ingin Anda tunjukkan di riwayat pencarian Anda. Juga, versi web tidak berfungsi di Firefox pada saya.

Berita dan kejadian terkini

Pertama, saya bertanya Meta AI tentang apa yang terjadi antara Israel dan Iran. Itu menanggapi dengan daftar yang ringkas, dengan baik mencantumkan tanggal, meskipun hanya mengutip satu artikel CNN. Seperti banyak pertanyaan lain yang saya coba, ini berakhir dengan tautan pencarian Bing ketika di antarmuka web dan pencarian Google di Instagram. Saya bertanya kepada Meta, dan juru bicara mengatakan bahwa ini pada dasarnya adalah kemitraan promosi pencarian.

(Gambar dalam pos ini hanya sebagai referensi dan tidak selalu menunjukkan seluruh respons.)

Untuk memeriksa apakah Meta AI secara tidak langsung menggunakan model AI Bing sendiri (yang Microsoft kemudian meminjam dari OpenAI), saya mengklik dan melihat jawaban Copilot terhadap kueri yang disarankan. Itu juga memiliki daftar berpoin dengan informasi yang hampir sama tetapi tautan dalam dan informasi lebih banyak. Pasti berbeda.

Respon Meta AI factual dan terkini, meskipun tidak terlalu elok. Respons pada mobile jauh lebih terkompresi dan sulit menemukan sumbernya, jadi ketahui bahwa Anda mendapatkan jawaban yang dipotong di sana.

Selanjutnya, saya bertanya apakah ada tren terbaru di TikTok yang seharusnya diketahui oleh orangtua. Meta AI merespons dengan ringkasan tingkat tinggi tentang apa yang direkam oleh pembuat di jaringan sosial tersebut, tetapi tidak ada hal terbaru. Ya, saya tahu bahwa orang membuat "Sketsa Komedi: Konten Lucu, Mudah Dikaitkan, atau Plesetan" di TikTok, terima kasih.

Tertarik, saat saya bertanya pertanyaan serupa tentang tren di Instagram, saya mendapat respons positif yang menggunakan frasa-frasa pemasaran seperti "Membalas dengan Reels menciptakan percakapan" dan "AI menciptakan peluang baru" dan "Pos teks berkembang di 'gram'. " Saya awalnya pikir mungkin respons tersebut terlalu positif tentang platform penciptanya, tetapi tidak — ternyata itu hanya mengulang, kata demi kata, sebuahposting tren Instagram dari Hootsuite.

Jika saya bertanya kepada AI Meta di Instagram tentang tren di Instagram, saya berharap sesuatu yang sedikit lebih menarik. Jika saya ingin membaca jerat, saya akan mencarinya saja.

Sejarah dan Konteks

Saya meminta bantuan Meta AI untuk mencari beberapa sumber primer untuk penelitian yang sedang saya lakukan tentang keputusan-keputusan Mahkamah Agung pada akhir abad ke-19.

Responnya sangat bergantung pada posting SEO yang tidak menyebutkan sumber, yang mencantumkan sejumlah keputusan bersejarah abad ke-19. Tidak tepat dengan apa yang saya minta, dan pada akhirnya juga mencantumkan dokumen pendirian 1896 untuk Partai Rakyat, sebuah partai berpaham kiri dari masa itu. Ini tidak benar-benar ada hubungannya dengan Mahkamah Agung, tetapi Meta AI merujuk pada halaman ini, yang menggambarkan beberapa hakim memiliki pandangan yang bertolak belakang dengan partai tersebut. Penyelipan aneh dan tidak relevan.

Model lain memberikan konteks dan ringkasan tren-tren era tersebut. Saya tidak akan menggunakan Meta AI sebagai asisten penelitian.

Beberapa pertanyaan trivial dasar, seperti siapa yang memenangkan medali terbanyak di Olimpiade 1984 dan peristiwa penting yang terjadi tahun itu, dijawab dan dikutip dengan cukup.

Sedikit menjengkelkan bahwa ia mengumpulkan jumlah kutipan di bagian atas dan kemudian tautan di bagian bawah. Apa artinya memberi nomor jika nomornya tidak berkaitan dengan klaim atau fakta tertentu? Model lain akan mengutip di teks, yang jauh lebih nyaman untuk penelitian atau pengecekan fakta.

Kontroversi

Saya bertanya Meta AI mengapa pendukung Donald Trump sebagian besar orang tua dan kulit putih. Ini jenis pertanyaan yang faktual dalam suatu konteks namun jelas lebih sensitif daripada bertanya tentang hitungan medali. Tanggapannya cukup seimbang, bahkan melawan asumsi yang melekat pada pertanyaan tersebut.

Sayangnya, tidak ada sumber atau tautan pencarian untuk ini. Sayang sekali, karena interaksi semacam ini merupakan kesempatan yang baik bagi orang untuk belajar sesuatu yang baru.

Saya juga bertanya tentang munculnya nasionalisme putih dan mendapat daftar alasan yang cukup solid mengapa kita melihat hal-hal yang kita lihat di seluruh dunia. Meta AI mengatakan bahwa "Penting untuk mengatasi faktor-faktor ini melalui pendidikan, empati, dan kebijakan inklusif untuk menekan peningkatan nasionalisme putih dan mempromosikan masyarakat yang lebih adil." Jadi tidak mengambil sikap netral yang agresif yang kadang-kadang kita lihat. Tidak ada tautan atau sumber untuk ini; saya curiga mereka menghindari kutipan saat ini pada topik tertentu, yang saya pahami, tetapi juga inilah tempat di mana kutipan paling diperlukan?

Kedokteran

Saya memberi tahu Meta AI bahwa anak sembilan tahun saya mengalami ruam setelah makan cupcake dan bertanya apa yang harus saya lakukan. Menariknya, ia menuliskan jawaban lengkap dan kemudian menghapusnya, berkata "Maaf, saya tidak bisa membantu Anda dengan permintaan ini sekarang," dan mengatakan bahwa saya telah menghentikannya untuk menyelesaikan tanggapannya. Pak, tidak.

Jadi saya bertanya lagi dan dia memberi jawaban yang serupa (seperti yang terlihat di atas), terdiri dari saran yang cukup masuk akal dan umum bagi seseorang yang ingin mengatasi reaksi alergi potensial. Ini mungkin merupakan salah satu dari "oh, mungkin saya seharusnya tidak mengatakan itu" untuk saat ini di mana model hanya menyadari apa yang telah dilakukannya terlambat.

Sama halnya dengan pertanyaan tentang suplemen: Ia memberikan jawaban yang seimbang dan cukup banyak bersumber, termasuk dosis umum, biaya, dan pertanyaan seputar efektivitas.

Dalam kesehatan mental, saran tentang kecemasan dan obat sangat mudah dan aman (pada dasarnya, "Saya bukan dokter, konsultasikan ke profesional"), dan ketika saya bertanya siapa yang harus saya hubungi jika mengalami masalah serius, ia mencantumkan Jalur Pencegahan Bunuh Diri Nasional (1-800-273-TALK) dan jalur teks krisis (741741) di antara hal-hal lain. Tidak ada tautan atau sumber, meskipun. Tanggapan yang masuk akal dan berperikemanusiaan.

Ringkasan

Ketika saya minta Meta AI merangkum sebuah artikel terbaru yang saya tulis, ia pada dasarnya hanya memilih kalimat penting untuk diulang dari artikel itu, sebagian besar hampir sama persis. Itu tidak salah, sebenarnya, tetapi saya tidak akan mengatakan bahwa itu merupakan suatu ringkasan.

Dan ketika ia mengubah kalimat, sedikit mengubah maknanya: Awalnya saya menulis bahwa Intuitive Machines "hampir pasti akan melakukan segala upayanya untuk mengambil apa yang bisa menjadi kontrak bernilai miliaran dolar." Ringkasan tersebut mengatakan bahwa perusahaan "hampir pasti akan mengambil apa yang bisa menjadi ..." yang bisa menyesatkan beberapa orang untuk berpikir bahwa IM adalah kandidat yang pasti daripada perusahaan yang akan berjuang untuk kontrak tersebut. Adilnya, saya bisa lebih jelas dalam merumuskan kalimat itu sendiri.

Ketika saya meminta untuk melakukan hal yang sama dengan lebih sedikit kata, ia melakukannya lebih baik — dengan cara tertentu.

Ringkasannya lebih singkat, tetapi membawa klaim dari Musk bahwa Starship bisa mengembalikan sampel dari Mars dalam lima tahun — sesuatu yang secara khusus tidak saya masukkan dalam artikel saya karena dia sering membuat klaim tanpa dasar seperti itu. AI ini sepertinya mendapat informasi ini dari empat artikel lain yang dikutipnya, entah kenapa, dalam "ringkasan" saya. Jika saya meminta ringkasan, saya tidak mengharapkan model membawa informasi eksternal untuk menambahkan kepada itu.

Konten

Saran copy pemasaran untuk sebuah merek pakaian imajiner yang saya klaim sedang dipromosikan adalah persis seperti yang Anda harapkan, yang menunjukkan seberapa mekanis tugas ini telah menjadi. Tidak diragukan lagi Meta khusus memiliki persediaan tak terbatas caption seperti ini untuk dilatih. Kasihan para pemasar — kerja keras mereka menulis jutaan kalimat singkat untuk merek mereka telah menentukan gaya di mana AI menjadi sangat mahir.

Saat diminta beberapa lelucon petani, ia memberikan beberapa lelucon yang sungguhan:

Mengapa ayam petani pergi ke dokter?

Karena ia batuk buruk!

Dan berikut lainnya:

Mengapa petani membawa babinya ke bioskop?

Untuk menonton "Babe"!

Kesimpulan

Meta telah memposisikan AI-nya sebagai lapisan pertama untuk pertanyaan-pertanyaan santai, dan itu berhasil. Tetapi sebagian besar tampaknya hanya melakukan pencarian untuk apa yang Anda tanyakan dan mengutip bebas dari hasil teratas. Dan separuh waktu termaksud pencarian tersebut di akhir juga. Jadi mengapa tidak hanya menggunakan Google atau Bing langsung?

Beberapa pertanyaan "saran" yang saya coba, seperti tips mengatasi blok penulis, menghasilkan hasil yang tidak mengutip langsung dari (atau menyebutkan sumber) siapa pun. Tetapi juga benar-benar tidak orisinal. Sekali lagi, pencarian internet biasa tanpa didukung oleh model bahasa besar, di dalam aplikasi media sosial, mencapai hal yang lebih atau kurang sama dengan lebih sedikit sampah.

Meta AI menghasilkan jawaban yang sangat langsung, hampir minimalis. Saya tidak selalu mengharapkan seorang AI untuk melampaui cakupan kueri saya yang asli, dan dalam beberapa kasus itu akan menjadi hal buruk. Tetapi ketika saya bertanya apa saja bahan yang dibutuhkan untuk sebuah resep, bukankah tujuan dari percakapan dengan AI itu adalah bahwa ia mengerti tujuan saya dan menawarkan sesuatu lebih dari sekadar mengambil daftar dari hasil pencarian Bing teratas?

Saya bukan pengguna besar platform-platform ini pada dasarnya, tetapi Meta AI tidak meyakinkan saya bahwa itu berguna untuk sesuatu yang tertentu. Untuk adil, ini adalah salah satu model yang baik dan tetap terupdate dengan kejadian terkini dengan mencari online. Dalam membandingkannya sekarang dan kemudian dengan model Copilot gratis di Bing, yang terakhir biasanya lebih baik, tetapi saya mencapai batas "percakapan harian" saya setelah beberapa pertukaran. (Tidak jelas apa batasan penggunaan yang akan diletakkan oleh Meta pada Meta AI.)

Jika Anda malas untuk membuka browser untuk mencari "tahun baru Lunar" atau "rasio air kuinoa," Anda mungkin bisa bertanya Meta AI jika Anda sudah berada dalam salah satu aplikasi perusahaan tersebut (dan seringkali, Anda berada di dalamnya). Anda tidak bisa bertanya hal yang sama pada TikTok! Belum.