"Perang Seratus Model" di Bidang AI: Dari Masalah Akademis ke Masalah Rekayasa
Bulan lalu, industri AI meletus dalam "perang hewan".
Satu sisi adalah model Llama yang diluncurkan oleh Meta, yang sangat diterima oleh komunitas pengembang karena sifatnya yang open source. Di sisi lain terdapat model besar bernama Falcon. Pada bulan Mei, Falcon-40B diluncurkan, mengalahkan Llama dan menduduki puncak peringkat LLM open source.
Daftar ini dibuat oleh komunitas model sumber terbuka, menyediakan seperangkat standar untuk mengukur kemampuan LLM dan melakukan peringkat. Peringkat pada dasarnya adalah Llama dan Falcon yang bergantian menduduki peringkat. Setelah peluncuran Llama 2, keluarga Llama berhasil merebut kembali satu posisi; pada awal September, Falcon meluncurkan versi 180B, sekali lagi mencapai peringkat yang lebih tinggi.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi yang berlokasi di ibu kota Uni Emirat Arab, Abu Dhabi. Pihak resmi Uni Emirat Arab menyatakan bahwa mereka terlibat dalam bidang ini untuk mengguncang para pemain inti.
Saat ini, bidang AI telah memasuki tahap "kekacauan": negara dan perusahaan yang memiliki kekuatan finansial, semuanya sedang membangun model bahasa besar mereka sendiri. Hanya dalam lingkaran negara-negara Teluk, sudah ada lebih dari satu pemain. Pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas dalam negeri, yang digunakan untuk melatih LLM.
Kondisi yang beragam di industri AI ini berkat makalah "Attention Is All You Need" yang diterbitkan oleh Google pada tahun 2017. Makalah tersebut memperkenalkan algoritma Transformer, yang menjadi pendorong utama dari gelombang AI saat ini. Saat ini, semua model besar, termasuk seri GPT yang mengejutkan dunia, dibangun di atas dasar Transformer.
Kehadiran Transformer telah memperlambat inovasi algoritma dasar di kalangan akademis. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi faktor penting dalam kompetisi AI. Hanya dengan kemampuan teknis tertentu, perusahaan teknologi dapat mengembangkan model besar.
Namun, kemudahan masuk tidak berarti semua orang bisa menjadi raksasa di era AI. Kekuatan inti dari model besar sumber terbuka terletak pada komunitas pengembang yang aktif. Seri Llama dari Meta telah menjadi panutan untuk LLM sumber terbuka, dan banyak model dikembangkan berdasarkan itu.
Sementara itu, perbedaan kinerja masih terlihat jelas. Dalam pengujian AgentBench terbaru, GPT-4 jauh unggul dengan skor 4,41, sementara skor LLM sumber terbuka lainnya berkisar sekitar 1. Perbedaan ini berasal dari pengalaman tim ilmuwan terkemuka dan akumulasi penelitian jangka panjang.
Selain tantangan teknis, keuntungan juga merupakan masalah besar. Saat ini, sebagian besar perusahaan AI menghadapi masalah ketidakseimbangan yang serius antara biaya dan pendapatan. Diperkirakan, perusahaan teknologi global akan menghabiskan 200 miliar dolar AS per tahun untuk infrastruktur model besar, sementara pendapatan diperkirakan hanya 75 miliar dolar AS, sehingga ada kesenjangan yang besar.
Secara umum, bidang AI sedang mengalami peralihan dari masalah akademis ke masalah rekayasa. Meskipun hambatan masuk menurun, penciptaan nilai yang sebenarnya dan keberhasilan bisnis masih menghadapi banyak tantangan. Pemenang di masa depan mungkin tidak hanya bergantung pada model itu sendiri, tetapi juga perlu melakukan terobosan dalam skenario aplikasi, pembangunan ekosistem, dan model bisnis.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Industri AI memasuki perang seratus model, ambang batas teknologi menurun tetapi tantangan bisnis masih ada.
"Perang Seratus Model" di Bidang AI: Dari Masalah Akademis ke Masalah Rekayasa
Bulan lalu, industri AI meletus dalam "perang hewan".
Satu sisi adalah model Llama yang diluncurkan oleh Meta, yang sangat diterima oleh komunitas pengembang karena sifatnya yang open source. Di sisi lain terdapat model besar bernama Falcon. Pada bulan Mei, Falcon-40B diluncurkan, mengalahkan Llama dan menduduki puncak peringkat LLM open source.
Daftar ini dibuat oleh komunitas model sumber terbuka, menyediakan seperangkat standar untuk mengukur kemampuan LLM dan melakukan peringkat. Peringkat pada dasarnya adalah Llama dan Falcon yang bergantian menduduki peringkat. Setelah peluncuran Llama 2, keluarga Llama berhasil merebut kembali satu posisi; pada awal September, Falcon meluncurkan versi 180B, sekali lagi mencapai peringkat yang lebih tinggi.
Menariknya, pengembang Falcon adalah Institut Penelitian Inovasi Teknologi yang berlokasi di ibu kota Uni Emirat Arab, Abu Dhabi. Pihak resmi Uni Emirat Arab menyatakan bahwa mereka terlibat dalam bidang ini untuk mengguncang para pemain inti.
Saat ini, bidang AI telah memasuki tahap "kekacauan": negara dan perusahaan yang memiliki kekuatan finansial, semuanya sedang membangun model bahasa besar mereka sendiri. Hanya dalam lingkaran negara-negara Teluk, sudah ada lebih dari satu pemain. Pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas dalam negeri, yang digunakan untuk melatih LLM.
Kondisi yang beragam di industri AI ini berkat makalah "Attention Is All You Need" yang diterbitkan oleh Google pada tahun 2017. Makalah tersebut memperkenalkan algoritma Transformer, yang menjadi pendorong utama dari gelombang AI saat ini. Saat ini, semua model besar, termasuk seri GPT yang mengejutkan dunia, dibangun di atas dasar Transformer.
Kehadiran Transformer telah memperlambat inovasi algoritma dasar di kalangan akademis. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi faktor penting dalam kompetisi AI. Hanya dengan kemampuan teknis tertentu, perusahaan teknologi dapat mengembangkan model besar.
Namun, kemudahan masuk tidak berarti semua orang bisa menjadi raksasa di era AI. Kekuatan inti dari model besar sumber terbuka terletak pada komunitas pengembang yang aktif. Seri Llama dari Meta telah menjadi panutan untuk LLM sumber terbuka, dan banyak model dikembangkan berdasarkan itu.
Sementara itu, perbedaan kinerja masih terlihat jelas. Dalam pengujian AgentBench terbaru, GPT-4 jauh unggul dengan skor 4,41, sementara skor LLM sumber terbuka lainnya berkisar sekitar 1. Perbedaan ini berasal dari pengalaman tim ilmuwan terkemuka dan akumulasi penelitian jangka panjang.
Selain tantangan teknis, keuntungan juga merupakan masalah besar. Saat ini, sebagian besar perusahaan AI menghadapi masalah ketidakseimbangan yang serius antara biaya dan pendapatan. Diperkirakan, perusahaan teknologi global akan menghabiskan 200 miliar dolar AS per tahun untuk infrastruktur model besar, sementara pendapatan diperkirakan hanya 75 miliar dolar AS, sehingga ada kesenjangan yang besar.
Secara umum, bidang AI sedang mengalami peralihan dari masalah akademis ke masalah rekayasa. Meskipun hambatan masuk menurun, penciptaan nilai yang sebenarnya dan keberhasilan bisnis masih menghadapi banyak tantangan. Pemenang di masa depan mungkin tidak hanya bergantung pada model itu sendiri, tetapi juga perlu melakukan terobosan dalam skenario aplikasi, pembangunan ekosistem, dan model bisnis.