Industri telekomunikasi global kini memiliki metode yang lebih kuat untuk mengevaluasi model bahasa besar (LLM) yang disesuaikan dengan kebutuhan uniknya. GSMA, bekerja sama dengan Khalifa University dan Huawei Paris Research Centre, telah merilis versi ketiga dari Open Telco AI Leaderboard di Mobile World Congress (MWC) Barcelona. Platform benchmark terbuka ini memberi peringkat LLM khusus untuk aplikasi telekomunikasi, mengatasi kesenjangan kritis dalam industri.
Mengapa Ini Penting: Domain yang Kompleks Membutuhkan Metrik yang Jelas
Telekomunikasi terkenal kompleks dari perspektif AI. Mengembangkan model yang dapat menangani operasi jaringan, layanan pelanggan, dan tugas teknis yang sangat terspesialisasi memerlukan tolok ukur yang tepat. Tanpa mereka, kemajuan akan lambat, dan membandingkan LLM yang berbeda menjadi subjektif. Papan Peringkat Open Telco AI memberikan kejelasan yang dibutuhkan industri. Papan ini mengubah bidang dari dugaan menjadi hasil yang terukur.
Apa yang Baru di Rilis 3?
Versi terbaru ini memperluas tolok ukur untuk menyertakan tugas yang mencerminkan alur kerja operator di dunia nyata. Ini menguji LLM pada atribut khusus telekomunikasi utama:
- Presisi dalam menjawab pertanyaan teknis.
- Penalaran matematis untuk perhitungan jaringan.
- Kinerja dalam skenario operasi jaringan.
- Efisiensi energi, penting untuk penerapan skala besar.
Platform ini juga mendukung evaluasi metode seperti fine-tuning dan retrieval-augmented generation (RAG) untuk aplikasi seperti chatbot layanan pelanggan dan alat konfigurasi jaringan.
Ekosistem Kolaboratif
Papan Peringkat Open Telco AI adalah bagian dari inisiatif OpenTelco AI yang lebih luas, yang diluncurkan di MWC Barcelona. Inisiatif ini bertujuan untuk menciptakan landasan terbuka bagi AI tingkat telekomunikasi, termasuk model, kumpulan data, dan pengembangan kolaboratif. Mitra pendirinya antara lain AT&T (merilis model AI telekomunikasi terbuka) dan AMD (menyediakan kapasitas komputasi melalui GPU dan TensorWave).
Digital Future Institute (DFI) di Khalifa University adalah kontributor utama, yang memimpin Grup Manajemen dan Konfigurasi Jaringan dalam program Open Telco AI. DFI telah menyumbangkan model khusus telekomunikasi seperti RF-GPT (untuk aplikasi frekuensi radio) dan TelecomGPT-R1 ke ekosistem.
Papan Peringkat Open Telco AI bukan hanya tentang pemeringkatan model; ini tentang membangun landasan bersama dan terbuka untuk masa depan AI di bidang telekomunikasi.
Peluncuran papan peringkat ini menandakan pergeseran menuju pengembangan AI yang terstandarisasi dan dapat diverifikasi di sektor yang sudah lama tidak memiliki kriteria evaluasi yang jelas. Hal ini akan mempercepat inovasi dan membantu operator menerapkan solusi AI yang lebih efektif.
Inisiatif ini merupakan langkah penting menuju masa depan bertenaga AI yang lebih efisien dan andal untuk industri telekomunikasi global.
