Apple mag dan weliswaar trots haar nieuwe HomePod speaker hebben gepresenteerd, het is nog maar de vraag hoe goed Siri de speaker kan ondersteunen. Slimme assistenten claimen dan wel dat ze intelligent zijn, Stone Temple nam de proef op de som. De site testte de grootste namen: Apple’s Siri, Microsoft’s Cortana, Amazon’s Alexa en de Google Assistant.
Stone Temple verzamelde 5000 verschillende vragen over alledaagse feitelijke kennis. Die vragen werden aan elke persoonlijke assisten gesteld. De antwoorden werden beoordeeld op vijf criteria:
- Of de assistent verbaal antwoord gaf
- Of het antwoord uit een database kwam
- Of een antwoord van een buitenstaande bron kwam (bijvoorbeeld Wikipedia)
- Hoe vaak een assistent een vraag niet begreep
- Hoe vaak een assistent het antwoord fout had
Alle vier de assistenten kunnen taken uitvoeren voor een gebruiker. Zo kan er een tafel worden gereserveerd aan een restaurant, kunnen bloemen worden besteld of een vlucht geboekt. Maar dat was niet wat werd getest in deze proef. In principe concentreerden de onderzoekers alleen op wie de slimste is op het gebied van kennis.
De Google Assistant die de Google Home ondersteunt, verzorgde een gesproken antwoord op de meeste vragen. Dat betekent alleen niet dat het ook de meeste antwoorden gaf. Dat komt doordat Siri en Cortana zich presenteren op een scherm van een smartphone (HomePod is hierin niet meegenomen en Microsoft werkt nog aan een speaker van Cortana).
Google heeft overduidelijk de slimste assistent ontworpen. De Assistant kan informatie halen uit de onuitputtelijke bron die Google heet. Al moet gezegd worden dat Cortana een waardige concurrent is geworden en niet op een al te grote afstand volgt. Alexa en Siri zijn beiden nog erg gelimiteerd. De assistenten kunnen nog maar weinig informatie van het web halen om hun kennis te ondersteunen. Het zal interessant zijn om te volgen hoe Apple en Amazon deze uitdaging aangaan.
Siri scoort niet alleen slecht bij het beantwoorden van vragen, het heeft die antwoorden ook nog eens veruit het vaakst verkeerd. In slechts 62.2% van de gevallen werd er een correct antwoord gegeven.
De test van Stone Temple is fascinerend om te bekijken, maar wat de testers niet hebben meegenomen is de verbondenheid met andere apps en diensten. Dit is wel een belangrijk gegeven, aangezien een koppeling met de vele bruikbare apps die er zijn, de kennis van de slimme assistenten flink kan beïnvloeden.
