ChatGPT veroverde de wereld stormenderhand met zijn welsprekende mensachtige reacties, achter de schermen aangedreven door geavanceerde AI. Concreet dankt het zijn natuurlijke taalvermogen aan een familie van modellen genaamd Generative Pretrained Transformers (GPT) ontwikkeld door onderzoeksbureau OpenAI.
In dit bericht zullen we demystificeren hoe deze transformatormodellen werken en hoe ze dit mogelijk maken ChatGPT's indrukwekkende prestatie.
GPT’s – Basismodellen voor NLP
Op een hoog niveau zijn GPT-modellen krachtige ‘basismodellen’ gericht op natuurlijke taaltaken zoals het genereren van tekst.
Ze zijn eerste voorgetraind op enorme tekstcorpora – die tot honderden miljarden woorden opnemen uit bronnen zoals websites, boeken en Wikipedia. Hierdoor kunnen GPT's patronen in menselijke taal diepgaand analyseren.
Na het voortrainen kunnen de modellen fine-tuned op meer specifieke datasets om hun mogelijkheden aan te passen. Er is bijvoorbeeld één belangrijke verfijningsdoelstelling voor ChatGPT was gespreksvaardigheid – waardoor een heen-en-weer-dialoog mogelijk was, gebaseerd op feiten.
Over opeenvolgende versies, OpenAI's GPT-modellen zijn dramatisch geavanceerder geworden naarmate grotere datasets en rekenkracht uitbreidden wat mogelijk was.
Inside GPT: de Transformer-architectuur
Onder de motorkap maken GPT-modellen gebruik van een op aandacht gebaseerde deep learning-architectuur die bekend staat als de transformator.
Transformers vormden een doorbraak in de verwerking van natuurlijke taal en presteerden beter dan oudere methoden bij taken als vertalen waarbij het begrijpen van de woordcontext vereist was. Hun belangrijkste innovaties:
- Zelf-aandacht lagen analyseren hoe elk woord zich tot elkaar verhoudt in een zin
- Hierdoor kunnen transformatormodellen zoals GPT ingewikkelde relaties in tekst diepgaand begrijpen in plaats van opeenvolgend te verwerken
Tijdens de voortraining stelt de transformatorarchitectuur van GPT het in staat om de zeer complexe contextuele patronen in de menselijke taal bloot te leggen uit zijn enorme datasets.
Vervolgens tijdens het afstemmen voor toepassingen zoals ChatGPTkan het basismodel nieuwe samenhangende, betekenisvolle zinnen genereren die passen bij die aangeleerde structuren.
GPT-3.5: de initiaal ChatGPT Foundation
De eerste versie gebruikte stroom ChatGPT was GPT-3.5, een uitgebreide variant van GPT-3.
GPT-3 zelf verbaasde de wereld toen het in 2020 werd gelanceerd vanwege de kwaliteit, samenhang en creativiteit van de resultaten.
Door voort te bouwen op de mogelijkheden van GPT-3 en aangepaste verfijning van gespreksvaardigheden, is GPT-3.5 mogelijk gemaakt ChatGPT's indrukwekkend vloeiende dialoogfunctionaliteit.
GPT-4: 2-5x meer capaciteit, 98% minder rekenkracht
Op een echte baanbrekende AI-manier gaan GPT-iteraties echter snel vooruit. Onlangs, OpenAI het nieuwste onthuld GPT-4 die naar verluidt 2-5x beter geschikt is voor de meeste taaltaken, terwijl er 98% minder rekenkracht nodig is.
Het gebruik van GPT-4 zou dit mogelijk kunnen maken ChatGPT om nieuwe hoogten te bereiken op het gebied van statistieken zoals uitvoerkwaliteit, feitelijke nauwkeurigheid, diepgang van dialogen en meer.
En de modeltrein van de transformatorfundering zal vanaf hier waarschijnlijk blijven versnellen. Omdat er in toekomstige GPT-versies voortdurende schaalvergroting van gegevens en rekenkracht wordt verwacht, is de opwinding groot over wat binnenkort mogelijk zal zijn.
Afgezien van de nieuwe mogelijkheden blijft het echter belangrijk om deze modellen voorzichtig te interpreteren; ze hebben opmerkelijke beperkingen ondanks de hype rond hun resultaten. Maar verantwoorde ontwikkeling zou enorm nuttige toepassingen mogelijk kunnen maken.
Houd deze ruimte dus in de gaten! We hebben waarschijnlijk nog maar het oppervlak bekrast van wat krachtige maar veilige AI uiteindelijk kan bereiken.