In het testlab van Tweakers testen we niet alleen elke dag producten, maar werken we ook continu aan onze testmethodes. Daarbij staan altijd twee vragen centraal: kunnen we betere data vergaren, en kunnen we dat op een efficiëntere manier doen? Hoe beter de data, des te steviger kunnen we onze conclusies onderbouwen. Hoe efficiënter de test, des te eerder we de content bij jullie kunnen krijgen.
In het testlab van Tweakers testen we niet alleen elke dag producten, maar werken we ook continu aan onze testmethodes. Daarbij staan altijd twee vragen centraal: kunnen we betere data vergaren, en kunnen we dat op een efficiëntere manier doen? Hoe beter de data, des te steviger kunnen we onze conclusies onderbouwen. Hoe efficiënter de test, des te eerder we de content bij jullie kunnen krijgen.De afgelopen jaren hebben we daarom onze testmethodes voor behuizingen, ventilators en wifi geoptimaliseerd en nieuwe opstellingen voor bijvoorbeeld powerbanks en USB-laders geïntroduceerd. Nu is het de beurt aan onze testmethode voor smartphones en dan specifiek de manier waarop we accuduur testen.
Voor veel mensen is accuduur een van de belangrijkste aspecten van een smartphone. We hebben daarom achter de schermen bijna een jaar gewerkt aan een nieuwe methode om dit zo goed mogelijk in kaart te brengen. Net als bij onze huidige test komt daar een score uit die we noteren in uren en minuten. Eigenlijk is dat exacte getal niet zo interessant. Iedereen gebruikt zijn of haar mobiele apparaat namelijk op een andere manier en afhankelijk daarvan verschilt ook de totale accuduur.
Belangrijker dan die absolute score vinden we de relatieve verschillen tussen apparaten. Als een fabrikant claimt dat zijn telefoon tien procent langer meegaat dan de voorganger, zien we dat dan terug in onze resultaten? Als jij twijfelt tussen twee telefoons en accuduur belangrijk vindt, helpen onze resultaten je dan om te zien hoe de twee zich tot elkaar verhouden?
Om dat goed te testen, beschouwen we het apparaat als een hoop componenten die allemaal stroom gebruiken en zo bijdragen aan het leeglopen van de accu. Niet elke component is daarbij interessant. Proberen in kaart te brengen wat de invloed van de trilmotor op de accuduur is, lijkt ons redelijk zinloos. We focussen ons daarom op de componenten die de meeste energie vragen: de system-on-a-chip, uitgesplitst in cpu, gpu, isp en videodecoder, de wifi- en 5G-modems, de camera en het scherm.
Van deze onderdelen weten we uit ervaring dat het stroomgebruik per fabrikant verschilt. De Pixel-telefoons met de eerste generaties Tensor-soc hadden bijvoorbeeld een onzuinig 5G-modem. Toen Samsung overging op een AMD-ontwerp voor Exynos-gpu's bleek dat ook niet al te zuinig. Ook weten we dat grote camerasensors meer stroom vereisen dan kleine. Door al deze onderdelen te testen, krijgen we een goed beeld van het totale stroomgebruik.
Met die kennis hebben we een testmethode uitgewerkt. Voorop stond dat de test zoveel mogelijk geautomatiseerd moest werken en het liefst zo min mogelijk tijd in beslag nam. Onze huidige smartphonetest duurt een dag of drie – nog zonder hertests bij gekke resultaten. Hierdoor publiceren we reviews van langverwachte producten soms later dan we willen.
We ontwikkelden uiteindelijk zelf een applicatie die op basis van een script allerlei acties op de telefoon kan uitvoeren. Deze informatie slaan we op in een database en maken we inzichtelijk in een webinterface. Hieronder vind je alle acties uit ons huidige testscenario:
Actie
ActieOmschrijving
OmschrijvingAandeel
AandeelWebbrowsing
We laten het apparaat door een vaste lijst aan lokaal gehoste websites browsen. De helft in dark mode, de helft in light mode. Na het laden scrolt de app op een natuurlijke manier door de pagina, met tussenpozen om 'te lezen'. Op die manier kunnen ltpo-schermen terugschakelen naar lagere refreshrates.
60%
Video afspelen
We streamen een videobestand vanaf een lokale webserver.
25%
Video opnemen
We gebruiken de frontcamera om een video op te nemen.
7%
Gpu
We renderen een WebGL-project om de gpu te belasten, net zoals games dit zouden doen.
5%
Bellen
We bellen naar een voicemailbox die automatisch opneemt en een opgenomen bericht afspeelt.
3%
Onze scripteditor, met daarin een deel van het testscenario
Ons scenario leunt zwaar op webbrowsing, omdat deze belasting overeenkomt met het gebruik van nieuwsapps, sociale media en de browser. Video's streamen is tegenwoordig ook een flink onderdeel van smartphonegebruik. De test bevat verder gpu-belasting, bellen en het opnemen van video's. De app voert deze acties in een loop uit, waarbij hij de wifi na elke loop in- of uitschakelt. Zo draait de gehele test ongeveer voor de helft op wifi en voor de helft op de mobiele verbinding. De schermhelderheid zetten we vast op 250 nits.
De loop gaat door totdat het accuniveau twintig procent aantikt. Hier stoppen we, omdat elke telefoon anders omspringt met lage accuniveaus. Sommige zetten automatisch de batterysaver aan en andere dimmen het scherm heel sterk. Daardoor ontstaat in die laatste twintig procent veel verschil tussen merken en verliezen we de controle over de testcondities. Daarom testen we tot twintig procent en extrapoleren we de resultaten.
Bij twintig procent stopt de test en start de telefoon automatisch met opladen. Om dat mogelijk te maken, sluiten we de telefoons tijdens de test aan op een wandcontactdoos met een Shelly-relais dat we via het netwerk aansturen. Als de telefoon weer compleet opgeladen is, starten we de test opnieuw. Zo doen we binnen één test twee volledige runs om de data te valideren.
Hoewel we denken met deze test een redelijk 'gemiddeld' gebruik na te bootsen, gebruikt iedereen zijn of haar telefoon natuurlijk anders. Het kan dan ook goed dat dit niet bij jou aansluit. We hebben overwogen om meerdere scenario's te testen en om extra tests toe te voegen. We vinden de extra tijd op dit moment echter niet opwegen tegen de extra data.
We hebben de afgelopen maanden meer dan honderd telefoons aan deze nieuwe testmethode onderworpen en zijn erg tevreden met de resultaten, vooral met de consistentie. Zoals gezegd draaien we na elke run een verificatierun. Dat resultaat drukken we uit in een consistentiescore.
De resultaatpagina van de Pixel 10 Pro in onze backend
Gemiddeld komt die uit op 98,92 procent, wat aangeeft dat de resultaten reproduceerbaar zijn. De score laat zien dat, hoewel we niet elke variabele kunnen controleren, zoals het 5G-signaal en de temperatuur, dit op de uiteindelijke score geen grote invloed heeft.
Hoewel we in onze reviews primair de eindscore tonen, kunnen we in onze backend dieper in de data graven. Zo loggen we temperatuur, netwerksignaal, laadtijden, stroomgebruik, refreshrate en meer. Dit helpt ons om scores beter te duiden. Zo maakt het inzichtelijk in hoeverre telefoons die 120Hz ondersteunen die refreshrate daadwerkelijk aanhouden. Ook levert het data op over stroomgebruik via wifi- en 5G-verbindingen en zien we welke 5G-banden de voorkeur krijgen. Die inzichten kunnen we vervolgens in de review verwerken.
In onze backend kunnen we verschillende datapunten per testrun met elkaar vergelijken.
Dit doen we helaas alleen voor Android. IOS geeft ontwikkelaars niet de mogelijkheid om al deze data uit te lezen.
Als we onze nieuwe dataset naast de oude leggen, blijven de onderlinge verhoudingen grotendeels vergelijkbaar. Absoluut gezien gaan de telefoons minder lang mee, wat logisch is: ze worden nu zwaarder belast.Ook zien we her en der toestellen die relatief gezien afwijken van de eerdere scores. Dit komt doordat we nu meer onderdelen testen. Sommige energiebesparende of -slurpende technieken (zoals zuinigere ltpo-displays of geavanceerde isp's) zijn nu wél van invloed op de accuduur, waar ze dat voorheen niet waren.
Tijdens de ontwikkeling hebben we een heleboel zaken overwogen die de test nóg beter hadden kunnen maken, maar de meeste ervan hebben we ook weer afgeschoten. Zo zouden we de apparaten in een temperatuurgecontroleerde ruimte kunnen plaatsen of een compleet eigen 5G-signaal kunnen opzetten met controle over banden en frequenties. We weten namelijk dat er variatie zit in temperatuur en gebruikte banden.
Tegelijk zien we ook dat ondanks die kleine variaties – ons testlab heeft klimaatbeheersing – de consistentie tussen testruns hoog is. De impact is dus klein. Dit is een klassiek geval van de wet van de verminderde meeropbrengst. De benodigde moeite neemt steeds maar toe terwijl het effect erg klein is.
We hebben bijna een jaar aan deze nieuwe testmethode gewerkt en tijdens de ontwikkelperiode veel bijgeschaafd en geleerd. Ten opzichte van onze oude methode, die bestond uit een combinatie van webbrowsing en video afspelen over wifi en 5G, hebben we meer tests toegevoegd. Hierdoor belasten we alle relevante onderdelen van een apparaat. We voeren elke test geautomatiseerd twee keer uit en alsnog zijn we in de praktijk een stuk minder tijd kwijt dan bij onze vorige testmethode.
Dat betekent dat we – bij verder gelijke omstandigheden – reviews eerder online kunnen hebben dan voorheen. Vooral bij grote productintroducties met krappe embargo's, zoals een nieuwe iPhone, Pixel of Galaxy, is dat pure winst.
Omdat we deze test intern hebben ontwikkeld, kunnen we deze de komende jaren blijven verbeteren. Mocht het waardevol blijken, dan kunnen we in de toekomst nieuwe acties toevoegen en de scenario's verder tweaken.
Source: Tweakers.net