In de afgelopen sprint hebben we geëxperimenteerd met generatieve AI om te onderzoeken wat voor Tweakers zou kunnen werken en waar we (technisch) tegenaan lopen. Daarnaast hebben we het grid van de Pricewatch verbreed en een nieuw ontwerp getest.
Om meer te leren over generatieve AI hebben twee tijdelijke scrumteams, de Turing Titans en de Quantum Questers, zich in sprint #294 volledig gestort op het experimenteren met mogelijke toepassingen. Hierbij hebben we uitsluitend gewerkt met content die door onszelf geschreven of gemaakt is, en dus niet met content van gebruikers.
Binnen DPG Media is een 'AI-omgeving' beschikbaar waarvan alle collega's gebruik kunnen maken. Voor bijvoorbeeld Tweakers-redacteuren zit dit echter niet in hun standaardworkflow, omdat het een andere plek is dan waar ze hun artikelen schrijven. Om te ontdekken hoe eenvoudig het zou zijn om de AI-omgeving vanuit DSP (de achterkant van Tweakers) aan te roepen, hebben we een aantal proof-of-concepts gedaan. Deze uitwerkingen worden niet naar productie gebracht, waardoor de code niet aan onze gebruikelijke kwaliteitseisen hoeft te voldoen. Hierdoor konden we meer doen in dezelfde tijd en dus sneller leren.
Zo hebben we geleerd dat het maken van de juiste prompt een samenwerking moet zijn tussen de (interne) gebruiker en de devver. Er gelden namelijk niet alleen inhoudelijke eisen voor het resultaat van een large language model, maar ook technische, zoals het resultaat teruggeven in JSON-formaat. Daarnaast heeft een llm natuurlijk niet alle kennis van de data van Tweakers. Als een redacteur een achtergrondartikel wil schrijven en daarvoor een samenvatting wil lezen van wat we tot nu toe op Tweakers hierover hebben geschreven, moeten we de llm wel van de juiste context kunnen voorzien. Dit vereist een manier van het bevragen van onze database die we nog niet ondersteunen.
Tot slot liepen we tegen beperkingen van de gebruikte llm's zelf aan. Zo zagen we bijvoorbeeld dat er telkens andere output verscheen bij het opnieuw uitvoeren van dezelfde opdracht, ondanks expliciete instructies om hierop te letten en het aanpassen van de instellingen hiervoor. Voor het genereren van tekst hoeft dat niet direct een probleem te zijn, maar in een taak waarbij productspecificaties vergeleken moeten worden, blijkt AI hiervoor niet geschikt.
Begin augustus hebben we het grid verbreed in een groot deel van de Pricewatch, waaronder op de pagina's waar je producten kunt filteren en vergelijken. Deze stap is onderdeel van een groter project om de Pricewatch zowel visueel als onder de motorkap te verbeteren. Eerder al hebben we de technische werking van de filters vernieuwd. Met het verbrede grid maken we optimaal gebruik van de schermruimte op de desktop. Dit biedt mogelijkheden om meer en relevantere informatie te tonen.
In navolging van de verbreding van het grid hebben we een a/b-test gedraaid met visuele veranderingen. In deze test hebben we gezien dat de veranderingen niet goed uitpakken op mobiele schermen. Op andere schermformaten presteerde de nieuwe lay-out significant beter dan het huidige ontwerp van de Pricewatch, met enkele aandachtspunten. Meer daarover kun je lezen in dit topic. In een volgende iteratie gaan we het nieuwe ontwerp verder verbeteren en vervolgens weer testen.
In de reacties onder artikelen hebben we de herkenbaarheid verbeterd van mensen die voor Tweakers werken. Tot voor kort gaven we in de reactiedraadjes alleen een 'auteur'-label weer. Nu zijn alle mensen die voor Tweakers werken herkenbaar. Dat doen we net als op het forum door het gebruik van een rode nickname en waar nodig ook de weergave van een functietitel daarbij.
Dit maakt het in de reacties bijvoorbeeld duidelijker dat een reactie is geplaatst door een Tweakers-redacteur als dat geen reactie is van de auteur van dat artikel. Ook is het daarmee consistent met hoe je op het forum gewend bent om moderators en andere mensen die voor Tweakers werken te herkennen.