Als onderdeel van de module "Key Topics in Artificial Intelligence" van mijn master aan de Open Universiteit werkte ik samen met een projectpartner aan een project waarin we de mogelijkheden en beperkingen van Large Language Models (LLMs) onderzochten. Het doel van dit project was om een AI-toepassing te verkennen, waarbij we ons richtten op het automatiseren van het schrijven van artikelen over atletiekevenementen. We gebruikten Scopias Atletiek als praktijkvoorbeeld en onderzochten hoe LLMs kunnen worden ingezet om informatieve en boeiende artikelen te genereren. Onze focus lag op de invloed van verschillende inputformaten en prompting-technieken op de kwaliteit van de output, evenals op de betrouwbaarheid en leesbaarheid van de gegenereerde teksten.
In ons project analyseerden we hoe gestructureerde data, zoals CSV-bestanden, en onbewerkte input, zoals HTML en trainernotities, door LLMs werden verwerkt. Dit hielp ons te begrijpen welke type inputformaten het meest geschikt waren voor het genereren van consistente en accurate artikelen. We experimenteerden met diverse prompting-technieken, waaronder Zero-shot, One-shot Few-shot, Chain of Thought (CoT) en Auto Chain of Thought (Auto CoT), om te onderzoeken hoe deze methoden de kwaliteit van de output beïnvloedden. Onze evaluatie richtte zich op aspecten zoals feitelijke juistheid, de mate waarin de teksten boeiend waren om te lezen en de mate waarin "confabulations" in het artikel voorkwamen. Het project gaf ons inzicht in de kracht en beperkingen van LLMs, terwijl het ons ook bewust maakte van de noodzaak van menselijke controle om fouten en onnauwkeurigheden te vermijden.
Enkele bestanden die je kan downloaden.
AI on Track: Generating Accurate and Engaging Athletics Articles with Language Models