Dank neuer KI-Technologien eröffnen sich nun erweiterte Möglichkeiten zur Analyse von Nutzersitzungen. Durch die Integration von KIs mit Eyetracking-Daten und Sprachaufzeichnungen ist es nun möglich, Informationen über die Sprache und das Empfinden des Nutzers zu erfassen. Diese wertvollen Daten können dann mithilfe weiter spezialisierter KIs analysiert werden, um zusätzliche Einblicke in das Verhalten und die Bedürfnisse der Nutzer zu gewinnen.
Die Plattform huggingface.co bietet öffentlich zugängliche KIs zur lokalen Verwendung oder als Cloud-Service an. Die einzelnen KIs können sehr einfach in einer Pipeline zusammengeführt werden, um komplexe Aufgaben zu lösen.
Mithilfe mehreren dort verfügbaren KIs haben wir alle Websessions einer Eyetracking-Studie analysiert. Mit der ersten KI wurden die gesprochenen Wörter auf dem Screencast einer Websession transkribiert. Darauf konnte eine weitere KI mittels Speaker-Diarisation die Sprechbeiträge von Interviewer und Proband identifizieren und auseinanderhalten. Auf diesem Transkript konnten dann mittels einer weiteren KI das Empfinden des Nutzers ermittelt werden. Die Sentiments wurden anschließend mit den Blickdaten kombiniert und den betrachteten Bereichen der Webseite zugeordnet. So kann die klassische Eyetracking-Heatmap durch eine neue Sentiment-Farbcodierung erweitert werden. Im Beispiel rot für negative und grün für positive Äußerungen.
Dieser Proband sagte während einer Nutzerstudie mit Eyetracking „I already chose L but here I have to click on L again“, welches als negatives Sentiment von der KI erkannt wurde. Abschließend konnte mit einer weiteren KI der Zeitpunkt der Blickdaten ermittelt werden, bei dem welches Wort gesprochen wurde.
Im Bereich der Sprachanalyse hat es in den letzten Monaten (2022/2023) bedeutende technologische Fortschritte gegeben, die nicht nur auf ChatGPT beschränkt sind. Bisherige Hindernisse wie der Mangel an deutschsprachigen KIs oder einer hohen Fehlerrate bei schlechter Tonqualität, sind weitgehend gelöst. Dank frei verfügbarer KIs wie beispielsweise “Whisper” von OpenAI können Transkriptionen in nahezu perfekter Qualität sowohl auf Englisch als auch auf Deutsch durchgeführt werden. Diese KIs benötigen zudem nur eine geringe Rechenleistung und können daher auf handelsüblichen Notebooks ohne großen Ressourcenverbrauch eingesetzt werden.