Met mijn stage afgerond was het tijd om te beginnen met mijn allereerste minor. Ik heb gekozen voor artificial intelligence (AI), een aandachtgebied binnen de ICT wat zich bezighoudt met het maken van 'intelligente' applicaties. Beetje een vaag begrip, toch?
Dat vage is ook precies waar het project over ging wat ik tijdens deze minor met twee anderen heb uitgevoerd. AI is al een abstract begrip, maar reinforcement learning is een term waar de meeste mensen al helemaal nog nooit van gehoord hebben. Onze opdrachtgever, het lectoraat Data Intelligence, waar ik een blok eerder nog stageliep, wil graag dat meer mensen weten wat AI is en dan met name wat reinforcement learning is. Tijdens eerdere open dagen van Zuyd Hogeschool bleek dat met name AI's die computerspellen zoals Mario spelen veel aandacht trekken.
Onze opdracht bestond dan ook uit het realiseren van een AI die Pacman kon spelen. We hadden de game zelf mogen kiezen en de grote herkenbaarheid, maar ook de eenvoudigheid van het spel hebben ons deze keuze laten maken. Het realiseren van deze demonstrator liep eigenlijk heel goed, misschien wel iets te goed... We zeiden dan ook vaker: "De grote tegenvaller moet nog komen".
"De grote tegenvaller moet nog komen"
En die tegenvaller kwam ook, maar wel uit onverwachtse hoek. Bij reinforcement learning moet de agent (lees, het computerprogramma) eerst oefenen met spelen en wordt deze langzaam beter. Het probleem bij Pacman was echter dat de agent helemaal niet beter werd! Na wat literatuuronderzoek vonden we onder andere twee papers van de universiteit van Stanford met vergelijkbare resultaten. Wat bleek: reinforcement learning en Pacman blijkt niet zo'n fantastische combinatie te zijn. Het was onmogelijk.
Maar, we kunnen onze opdrachtgever natuurlijk niet met lege handen naar huis sturen. Daarom besloten we met een nieuw plan te komen. De agent was dan wel niet goed in het spelen van Pacman, maar dat wil nog niet zeggen dat we daarmee niks kunnen uitleggen. In tegendeel: de demonstrator vormde een super voorbeeld om aan te tonen dat niet iedere techniek geschikt is voor ieder probleem. Om dit duidelijk uit te kunnen leggen besloten we een explainer video te maken, waarin ook de Pacman demonstrator terug naar voren komt. Deze video, aangevuld met een demonstrator, waarin mensen zelf aan de slag kunnen met reinforcement learning, vormden het eindproduct van dit project.
Ben jij nou benieuwd naar de video? Of wil je alle details van de resultaten weten? Kijk dan hier voor alle documentatie met daarin ook de links naar de demonstrators.