Fact-checking door 
Afgelopen zomer heeft Meta Llama 2 geïntroduceerd, een nieuw open-source Large Language Model (LLM) met openbaar beschikbare code. Dit heeft bij sommigen geleid tot speculatie over de mogelijkheid dat deze oplossing uiteindelijk de huidige marktleider, ChatGPT, zou kunnen overtreffen.
Meta hoopt dat deze grotere transparantie de ontwikkeling van generatieve AI zal bevorderen.
“Wij geloven dat een open benadering de juiste is voor de ontwikkeling van de huidige AI-modellen”, aldus de blogpost bij de aankondiging.
“Het openstellen van de toegang tot de huidige AI-modellen betekent dat een generatie ontwikkelaars en onderzoekers deze modellen kan stresstesten en als community snel problemen kan identificeren en oplossen. Door te zien hoe deze tools door anderen worden gebruikt, kunnen onze eigen teams ervan leren, deze tools verbeteren en kwetsbaarheden verhelpen.”
Dit nieuws komt kort na de aankondiging van de release van Claude 2 door Anthropic op 11 juli. Maar wat betekent de release van Meta precies voor OpenAI?
Hoe staat Llama 2 ervoor?
Hoewel Llama 2 niet in staat is om ChatGPT snel van de troon te stoten, onderscheidt Llama 2 zich op verschillende manieren.
Llama 2 is een LLM dat is ontworpen om tekst en code te genereren met behulp van openbaar beschikbare gegevens, terwijl het minder rekenkracht en bronnen verbruikt. Deze nieuwe versie van Llama is getraind op 40% meer gegevens dan de oorspronkelijke versie, wat neerkomt op meer dan twee biljoen tokens, en het bevat een miljoen nieuwe menselijke annotaties. Bovendien is het gebruik van Llama 2 gratis totdat een organisatie 700 miljoen maandelijkse actieve gebruikers bereikt.
De LLM biedt drie niveaus van parameters (factoren die AI-systemen kunnen leren van trainingsgegevens), die worden geëvalueerd door menselijke beoordelaars:
- 7 miljard parameters
- 13 miljard parameters
- 70 miljard parameters
Hoewel het aantal parameters van Llama 2 met 75 miljard aanzienlijk lager is dan de 175 miljard van GPT 3.5, blijkt het verschil kleiner wanneer we kijken naar Massive Multitask Language Understanding (MMLU), een scoresysteem dat het probleemoplossend vermogen van taalmodellen beoordeelt.
Llama 2 behaalt bijvoorbeeld een MMLU-score van 68,9, wat dicht in de buurt ligt van de 70,0 van GPT 3.5, alhoewel dit nog steeds ver verwijderd is van de 86,4 van GPT-4. Desondanks vestigt Llama 2 zich als een waardevolle open-source concurrent voor GPT 3.5.
Interessant is dat de trainingsgegevens van Llama 2 lopen tot september 2022 en tuninggegevens bevatten tot juli 2023, terwijl GPT 3.5 is getraind op gegevens tot september 2021. Hierdoor biedt Llama 2 actuelere informatie dan zijn tegenhanger van OpenAI.
Llama 2-Chat: Meta’s geheime wapen?
Een van de meest veelbelovende aspecten van deze release was echter de introductie van Llama 2-Chat, een versie van Llama 2 die specifiek is geoptimaliseerd voor “gespreksdoeleinden”. Deze variant van de tool is verbeterd om toxiciteit te verminderen en de nauwkeurigheid te verhogen.
Meta’s whitepaper legt uit:
“Het percentage toxiciteit krimpt tot effectief 0% voor Llama 2-Chat: dit is het laagste toxiciteitsniveau onder alle vergeleken modellen. In het algemeen, vergeleken met Falcon en MPT, laat de verfijnde Llama 2-Chat de beste prestaties zien in termen van toxiciteit en waarachtigheid.”
De focus op het verminderen van toxiciteit is een belangrijk punt van differentiatie, aangezien andere LLM’s zoals ChatGPT controverse hebben ervaren over hun vermogen om aanstootgevende inhoud te genereren.
Het inzetten van red teaming binnen de organisatie, om de modellen te verbeteren en manieren te ontwikkelen voor het genereren van vijandige aanvragen, kan niet alleen de prestaties van Llama 2 aanzienlijk verbeteren, maar heeft ook het potentieel om het vertrouwen in de resultaten van LLM’s te vergroten. Tot op heden werden deze modellen geplaagd door foutieve informatie en neigden ze ertoe hallucinaties te genereren.
Is het voorbij voor ChatGPT?
Hoewel de introductie van Llama 2 ongetwijfeld nieuwe concurrentie met zich meebrengt, betekent dit nog niet het einde voor ChatGPT.
Dr. Jim Fan, Senior AI Scientist bij Nvidia, schreef op Twitter: “Llama-2 is nog niet op GPT-3.5-niveau, voornamelijk vanwege de zwakke coderingsmogelijkheden.” Fan zei ook dat hij “weinig twijfel had dat Llama-2 aanzienlijk zal verbeteren dankzij de open-source opzet.”
You'll soon see lots of "Llama just dethroned ChatGPT" or "OpenAI is so done" posts on Twitter. Before your timeline gets flooded, I'll share my notes:
▸ Llama-2 likely costs $20M+ to train. Meta has done an incredible service to the community by releasing the model with a… pic.twitter.com/MrABHrmACv
— Jim Fan (@DrJimFan) July 18, 2023
Zelfs in Meta’s eigen whitepaper wordt toegegeven dat Llama 2, ondanks zijn nabijheid tot GPT-3.5, achterblijft bij modellen zoals GPT-4.
De echte troef van Llama 2 is echter dat het open source is. Dit geeft niet alleen inzicht in hoe het model werkt, maar opent ook de deur voor onafhankelijke onderzoekers om fine-tuning uit te voeren en eventuele vooringenomenheid of toxiciteit te verminderen.
Terwijl gesloten AI-platforms afhankelijk zijn van interne onderzoekers om hun modellen te verbeteren, kunnen open-source tools rekenen op een breder scala aan talenten binnen de gebruikersgemeenschap.
Dit betekent dat organisaties en ontwikkelaars die streven naar een meer open benadering van AI-ontwikkeling in de toekomst naar Meta kunnen kijken om beter aan deze behoeften te voldoen.
Transparantie brengen in AI-ontwikkeling
Hoewel Llama 2 momenteel nog niet in staat is om GPT-4 te overtreffen, heeft het tot dusver laten zien dat het kan concurreren met GPT-3.5 op bepaalde gebieden.
Belangrijker nog, de lancering van Llama 2 heeft aangetoond dat een open-source aanpak voor de ontwikkeling van AI levensvatbaar is en heeft de basis gelegd voor een gemeenschapsbrede inspanning om AI-modellen verder te verfijnen.
