top of page
THINK 1

Bij het themavak Game Metrics behandelen we de voordelen van Metrics gebruiken, om informatie te krijgen over of de designkeuzes die je hebt gemaakt voor je games wel werkelijk de gewenste effect hebben. We zijn daarom ook op de conclusie gekomen dat het wel heel stom zou zijn als je binnen je groepje geen Game Analytics binnen je game zou verwerken voor de Softlaunch. Echter voordat we Game Analytics ook werkelijk in de software kunnen verwerken, zou er eerst een analyse moeten worden gedaan van welke plug-ins er precies moeten worden gebruikt en waarvoor allemaal. (Zodat we niet zomaar overbodige data verzamelen).

Het resultaat dat ik zou willen behalen, is dat we een analyse hebben met duidelijk er in beschreven wat voor soort game-analyse we willen doen en welke tools voor elke type het beste zou werken. In andere woorden een document met bevindingen wat het ontwerp –en implementatieproces van de software goed ondersteunt.

Software: Analyse

MAKE 1

Eerst hebben we bij Game Metrics de opdracht gekregen om een aantal vragen te beantwoorden om ervoor te zorgen dat we daadwerkelijk de begrippen die erbij komen kijken, ook daadwerkelijk begrijpen. Hieruit kwam ik al op definities voor de verschillende game-analyse types.

Welke 5 typen game-analyse kunnen er worden uitgevoerd en wat zij de verschillen tussen deze typen?
1- Descriptive: Kwantitatief Data beschrijven.
2- Exploratory: Kijken naar eerst onbekende relaties tussen data.
3- Inferential: Theoriën testen met data voorbeelden. (Kleinschalige Predictive, zonder model)
4- Predictive: Analyseren van huidige events, en daarop gebaseerd toekomstige events voorspellen. (Te ver voor dit project)
5- Causal: Meet wat er gebeurd met 1 variabel wanneer je een andere aanpast.


Daarna heb ik een lijstje gemaakt met dingen die we zouden willen testen binnen onze game tijdens de softlaunch.
 

1. Begrijpen de spelers gelijk wat de Input Methode is voor de main mechanic? (Accelometer test) (Tap test)
2. Wat is de Swipe Lengte op basis van de huidige speeltijd?
3. Wat is de beginlocatie van de swipe op basis van de huidige speeltijd?
4. Hoe lang duurt het tot de speler een bepaalde Event heeft getriggerd?
5. Hoe vaak swipen spelers in een bepaalde level?, mss ook waar in het level er buitengewoon veel swipes zijn doorgeven?
6. Hoeveel mensen muten het geluid? En op welk scherm?
7. Welke Blob Attributen vinden de spelers het fijnste om mee te spelen?
8. Hoe vaak bezoeken de spelers de shop?
9. Hoe vaak worden Advertenties geskipt?
10. Begrijpen mensen de connecties tussen obstakels en knoppen, sleutels, acties enz. ?
11. Wat zijn de hoogste scores die behaald zijn per levelpakket?
12. Hoe vaak wordt de Tutorial uitgespeeld?
13. Welke leeftijd zijn de spelers?
14. Uit welke landen komen de spelers?
15. Spelen spelers de game ’s ochtends of ’s avonds?
16. Hoeveel friendly blobs worden er per level verzameld?
17. Hoe lang duurt het voor de speler om een bepaalde level uit te spelen.

 

Deze lijst heb ik dan vervolgens geclusterd om zo te weten welke gegevens bij wat voor soort metric zouden horen.
 

Data over Game Design
1. Begrijpen de spelers gelijk wat de Input Methode is voor de main mechanic? (Accelometer test) (Tap test)
2. Wat is de Swipe Lengte op basis van de huidige speeltijd?
3. Wat is de beginlocatie van de swipe op basis van de huidige speeltijd?
4. Hoe lang duurt het tot de speler een bepaalde Event heeft getriggerd?
5. Hoe vaak swipen spelers in een bepaalde level?, mss ook waar in het level er buitengewoon veel swipes zijn doorgeven?
7. Welke Blob Attributen vinden de spelers het fijnste om mee te spelen?
10. Begrijpen mensen de connecties tussen obstakels en knoppen, sleutels, acties enz. ?
11. Wat zijn de hoogste scores die behaald zijn per levelpakket?
12. Hoe vaak wordt de Tutorial uitgespeeld?
16. Hoeveel friendly blobs worden er per level verzameld?
17. Hoe lang duurt het voor de speler om een bepaalde level uit te spelen.

 

Data over de Applicatie
6. Hoeveel mensen muten het geluid? En op welk scherm?
8. Hoe vaak bezoeken de spelers de shop?
9. Hoe vaak worden Advertenties geskipt?

 

Data over de spelers
13. Welke leeftijd zijn de spelers?
14. Uit welke landen komen de spelers?
15. Spelen spelers de game ’s ochtends of ’s avonds?


Nadat we weten waar we achter zouden willen komen, is nu natuurlijk de vraag: hoe gaan we hier achter komen? Ik kwam er al snel achter dat er een hele boel Analytics plug-ins en services zijn, maar welke hebben wij nodig? Om achter deze vraag te komen heb ik forums afgezocht naar de verschillen tussen de meest gebruikte Analytics services voor Unity games.


Wat zijn de verschillende Tools die we tot onze beschikking hebben?
Na een uitgebreid onderzoek op verschillende forums en verschillende video’s te hebben bekeken, heb ik de volgende Analytics tools gevonden.

  • GameAnalytics

  • Google Analytics

  • Unity Analytics

  • Flurry Analytics

  • GameSparks

  • SOOMLA

  • Keen IO
     

Anders handmatig
Script schrijven om data in een Excel bestand op te slaan en deze laten opsturen naar een database of een eigen server.

 

Vervolgens heb ik de top 3 van deze tools uitgeprobeerd, om voor mijzelf te kijken hoe het functioneert en welke wij het beste kunnen gebruiken.

Poging 1: Unity Analytics
-De plug-in is gemakkelijk te integreren in het project. (Aangezien het er al in zit)
-De uitleg over hoe je data moet sturen naar de servers is erg gelimiteerd.
-Het proces om te debuggen of je ook werkelijk resultaat krijgt van je code duurt veel te lang en tot het data is verwerkt ben je er nog een 24 uur aan kwijt.
-Bij een poging om alle data in een nette CSV bestand te krijgen door middel van de Data Explorer weigert Unity Analytics mee te werken en verwijderd mijn aangemaakte report op te slaan.
-De funnel analyzer toont ook onjuiste data, wat onbruikbaar is.

Poging 2: Google Analytics
-De plug-in leek makkelijk te integreren in het project, maar zodra de .unitypackage was geïmporteerd verschenen er allemaal errors over dubbele waarden.
-De errors heb ik weten weg te krijgen door een aantal van de geïmporteerde bestanden te verwijderen.
-De verzonden data is niet te vinden op het Google Analytics Dashboard.
-Volgens de Dashboard zijn er 36 spelers uit Rusland, terwijl de versie met Google Analytics alleen in Nederland is getest en de versie op de Playstore is alleen in Canada te downloaden.

Poging 3: GameAnalytics
-De plug-in is gemakkelijk te importeren, alleen het laten functioneren is een ander verhaal.
-De plug-in weigert onze game te vinden uit de lijst met games en handmatig onze game toevoegen doet niets.

Aangezien mijn eigen bevindingen weinig informatie opleverde over de verschillen van deze tools; heb ik de volgende forum geraadpleegd om mijn analysedocument uit te breiden.

https://community.unity.com/t5/General-Discussion/Unity-Analytics-vs-Google-Analytics-vs-GameAnalytics-vs-other/td-p/2078438

CHECK 1

Uit de bovenstaande vragen blijkt dat de game-analyse (die wij willen doen met behulp van game analytics) een “descriptive type” is. We willen eerder kwantitatief veel informatie verkrijgen om er achter te komen of er wel problemen zijn, dan dat we er al van uit gaan dat er een probleem is en deze proberen te achterhalen. Ik had verwacht dat het implementeren van de tools wel zonder problemen zou gaan en dat ik meer problemen zou hebben met het verwerken van de data, maar uiteindelijk bleek toch dat de tools niet bepaald gebruiksvriendelijk zijn. Daarom moet ik eerlijk zeggen dat wat al uit mijn pogingen blijkt om Game Analytics plug-ins te integreren in ons project, we beter geen gebruik kunnen maken van de bestaande tools. De reden hiervoor is dat deze tools niet overzichtelijk genoeg zijn om conclusies te trekken uit de opgehaalde data, of niet altijd functioneren en heel vaak meer zijn gericht op een “Predictive type” game-analyse. Dat is dan ook mijn conclusie. Het document dat ik heb gemaakt geeft echter wel een aantal punten over de verschillen van de top 3 meest gebruikte Analytics Tools. Dus in het geval dat we toch wel één of meer van deze Tools zouden willen gebruiken, weten we kunnen verwachten.

THINK 2

De manier waarop ik de analyse heb aangepakt is door het te testen op gebruiksvriendelijkheid en de functionaliteit. Ik vind het namelijk belangrijk dat bij analytics tools dat ze gemakkelijk te gebruiken zijn, en daadwerkelijk ook veel te bieden hebben voor de gebruiker die de tool wil gebruiken binnen zijn game. Zoals in mijn vorige cycle al te zien was, missen de andere tools heel erg die vrijheid en gebruiksvriendelijkheid. Daarom is mijn doel voor deze cycle ook om er achter te komen wat nog essentiële verbeterpunten zijn voor mijn eigen tool. De methode die ik hiervoor wil gebruiken is: “Exploratory Testing”, met minimale planning wil ik snel kijken wat de plus en min punten zijn van mijn eigen tool.

MAKE 2

Poging 4: Eigen Tool

Gebruikersvriendelijkheid
-Zoals te zien is in de cycles van mijn software realiseren beroepstaak, is het best wel een hele klus om de tool te maken en op te zetten, maar je hebt wel een heel begrip gelijk van hoe alles functioneerd.
-De dashboard waar je de opgeslagen informatie kan bekijken is natuurlijk de phpMyAdming panel van de database hosting service waar je je hebt aangemeld. Dit betekend dat je dus niet met een compleet nieuwe omgeving hoeft te leren omgaan, maar eerder eentje die universeel veel wordt gebruikt. Bovendien zou je kunnen instellen dat veranderingen in de database automatisch naar je gemaild worden, waardoor je al helemaal geen moeite meer hoeft te doen om je data te zien.

Functionaliteit
-Je kan alle soorten data/variabelen ophalen en opslaan die je zou willen in een database, zonder enige restricties van de tool zelf. (Zolang je maar weet hoe je het moet opzetten in de PHP script en de database)
-De opgehaalde info heeft geen primary key, waardoor het sorteren soms wel een rotzooi wordt. Een unieke ID of een device ID zou een mooie toevoeging zijn aan de tool.
-Ook een hele belangrijke bevinding is dat de tool alleen data opslaat in de database, als de server waar op gehost wordt niet plat ligt. Dit is natuurlijk vanzelfsprekend, maar het betekend wel dat de kwaliteit van de tool afhangt van de hosting service die je zelf kiest.

CHECK 2

Tot nu toe is dit wel de enige analytics tool die ik ook werkelijk goed hebt laten functioneren en wist (omdat ik hem zelf heb gemaakt) ook alle mogelijkheden ervan. Qua gebruiksvriendelijkheid wordt het allemaal niet veel makkelijker dan het nu is, behalve als ik ervoor zou kiezen om er daadwerkelijk een (Unity) plug-in van te maken waar de gebruiker alleen maar de velden hoeft in te vullen met een visuele editor. Dit lijkt me werkelijk een perfecte manier om de gebruiksvriendelijkheid gelijk te fixen aan de kant van Unity, maar omdat de hosting service nog steeds een keuze is van de gebruiker zelf. . .zal ik aan de kant daarvan niets gemakkelijker kunnen maken behalve een eigen hosting service beginnen en alleen verbinding daarmee mogelijk maken. Als ik dan ook nu zou moeten bekijken welke veranderingen ik zou willen fixen qua functionaliteit, dan zou ik zeggen dat het wel heel handig zou zijn om een primary key te hebben in de databaselijst. Dit zou dan een Device ID kunnen zijn die uniek is per speler, per apparaat. Een andere optie is een account ID, zodat ongeacht het apparaat waar de speler het op speelt. . . de data van de speler zelf bij elkaar blijft. Het laatste punt dat ik bij mijn Make dan ook opnoemde over de server die plat lag, vind ik persoonlijk geen probleem dat met mijn tool te maken heeft. Dit is verantwoordelijkheid van de gebruiker zelf, als de gebruiker stabiliteit wil hebben dan zou hij/zij daar gewoon een betere hosting service voor moeten uitkiezen. Door de bovengenoemde bevindingen over mijn tool vanuit mijn “Exploratory Test” te hebben ontdekt, vind ik dat ik mijn doel heb behaald voor deze cycle.

CONTEXT 2

Omdat ik alle hoop al had opgegeven met de bestaande Analytics tools heb ik in de eerste cycles van mijn Software Ontwerpen en Software Realiseren een eigen methode gevonden om analytics toe te passen binnen ons spel. Daarom wil ik deze 2de cycle mijn zelfgemaakte tool analyseren om er achter te komen wat ik er aan zou kunnen verbeteren bij (wellicht) de derde cycle van mijn Software Ontwerpen en Realisatie.

LEARNINGS 2

Ik heb vooral de plus -en minpunten van mijn eigen analytics tool geleerd door er analytisch naar te kijken. Ik wist natuurlijk wel dat de tool altijd verbetering kon gebruiken, maar omdat ik mijn bevindingen heb gecategoriseerd, heb ik ook ontdekt waar ik mijn prioriteiten zou moeten leggen als ik deze punten wil verbeteren.

CONTEXT 1

Om mijn beroepstaak Software: Analyseren te bewijzen zal ik een analyse maken voor het implementeren van Game Analytics binnen onze game. Zodat we al een idee hebben welke tools de moeite zijn om tijd in te steken en welke het beste bij onze game z’n analysepunten zou passen.

LEARNINGS 1

Wat ik heb geleerd is dat ik nooit meer Analytics tools wil gebruiken. Deze cycle duurde mij weken om te voltooien en zelfs nu heb ik geen goed functionerende Analytics Tool om in ons project te implementeren voor het gene wat wij wouden testen.

bottom of page