De mondiale telecommunicatie-industrie beschikt nu over een robuustere methode voor het evalueren van grote taalmodellen (LLM’s) die zijn afgestemd op haar unieke behoeften. De GSMA heeft, in samenwerking met Khalifa University en Huawei Paris Research Centre, de derde versie van het Open Telco AI Leaderboard vrijgegeven op het Mobile World Congress (MWC) Barcelona. Dit open benchmarkplatform rangschikt LLM’s specifiek voor telecomtoepassingen en adresseert een kritieke leemte in de sector.
Waarom dit belangrijk is: een complex domein heeft duidelijke statistieken nodig
Telecommunicatie is notoir complex vanuit een AI-perspectief. Het ontwikkelen van modellen die netwerkactiviteiten, klantenservice en zeer gespecialiseerde technische taken aankunnen, vereist nauwkeurige benchmarks. Zonder hen gaat de vooruitgang langzaam en wordt het vergelijken van verschillende LLM’s subjectief. Het Open Telco AI Leaderboard biedt de duidelijkheid die de sector nodig heeft. Het verplaatst het veld van giswerk naar meetbare resultaten.
Wat is er nieuw in versie 3?
Deze nieuwste versie breidt de benchmark uit met taken die de workflows van operators uit de echte wereld weerspiegelen. Het test LLM’s op belangrijke telecomspecifieke kenmerken:
- Precisie bij het beantwoorden van technische vragen.
- Wiskundige redenering voor netwerkberekeningen.
- Prestaties in scenario’s voor netwerkbewerkingen.
- Energie-efficiëntie, essentieel voor grootschalige implementaties.
Het platform ondersteunt ook de evaluatie van methoden zoals fine-tuning en retrieval-augmentedgeneration (RAG) voor toepassingen zoals chatbots voor klantenservice en netwerkconfiguratietools.
Een samenwerkend ecosysteem
Het Open Telco AI Leaderboard maakt deel uit van het bredere OpenTelco AI-initiatief, gelanceerd op MWC Barcelona. Dit initiatief heeft tot doel een open basis te creëren voor AI op telecomniveau, inclusief modellen, datasets en gezamenlijke ontwikkeling. Oprichtende partners zijn onder meer AT&T (vrijgeven van open telecom AI-modellen) en AMD (leveren van rekencapaciteit via GPU’s en TensorWave).
Het Digital Future Institute (DFI) aan de Khalifa Universiteit levert een belangrijke bijdrage en leidt de Network Management and Configuration Group binnen het Open Telco AI-programma. De DFI heeft al telecomspecifieke modellen zoals RF-GPT (voor radiofrequentietoepassingen) en TelecomGPT-R1 aan het ecosysteem bijgedragen.
Het Open Telco AI Leaderboard gaat niet alleen over rangschikkingsmodellen; het gaat over het bouwen van een gedeelde, open basis voor de toekomst van AI in de telecommunicatie.
De publicatie van dit klassement duidt op een verschuiving naar gestandaardiseerde, verifieerbare AI-ontwikkeling in een sector die lange tijd geen duidelijke evaluatiecriteria heeft gehad. Dit zal de innovatie versnellen en operators helpen effectievere AI-oplossingen in te zetten.
Dit initiatief is een cruciale stap in de richting van een efficiëntere en betrouwbaardere, door AI aangedreven toekomst voor de wereldwijde telecomindustrie.
