Es gibt verschiedene Methoden die es ermöglichen, eine quantitative Leistung in einem Contact Center zu messen. Die Messung dieser gestaltet sich meist einfach. Kennzahlen wie AHT, First Time Fix, Anzahl bearbeiteter Emails oder Calls etc. sind automatisiert in Systemen erfasst und können abgerufen werden. Mit einem Klick weiß man, wie hoch die Bearbeitungszeit einer Kundenanfrage per Email im letzten Monat war oder wie oft sich ein Kunde innerhalb einer Woche nochmal beim Kundenservice meldete. Zudem handelt es sich bei diesen Ergebnissen um stetige Daten, die dadurch charakterisiert sind, dass theoretisch unendlich viele verschiedene Werte innerhalb eines Intervalls als Ausprägung vorkommen können (z.B. Die Bearbeitungszeit einer Email beträgt 10 oder 15 Minuten, kann aber auch 300 Minuten betragen.). Diese Ergebnisse werden dann mit den jeweils definierten Zielen abgeglichen und am Ende steht eine Zielerfüllung oder Zieluntererfüllung der entsprechenden Leistung.
Möchte man die Qualität einer Leistung messen, erfolgt dies meist anhand diskreter bzw. abzählbarer Daten (z.B. anhand einer Schulnotenskala mit den Werten 1 bis 6, ja oder nein, i.O. oder n.i.O, richtig oder falsch). Bevor man eine Messung startet, muss zunächst sichergestellt werden, dass auch richtig gemessen wird. Dazu ist es notwendig alle Einflussfaktoren zu identifizieren, die zu einer Ungenauigkeit oder Unsicherheit der Daten führen können. Zu diesen Faktoren zählen z. B.:
– Wie wird gemessen?
Ob z. B. ein Kundenanliegen per Email korrekt oder nicht korrekt bearbeitet wurde, hängt von definierten Prüfkriterien ab. Zur Beurteilung der Prüfkriterien wird eine Bewertungsskala verwendet.
– Wer misst?
Selten liegen automatisierte Auswertungsmöglichkeiten vor, stattdessen muss die Messung manuell durch einen Prüfer erfolgen. Nicht jede Prüfung erfolgt durch ein und denselben Prüfer. Meist gibt es ein Team von Prüfern, bestehend aus mehreren Personen, die gleichzeitig unterschiedliche Emails auf Richtigkeit in der Bearbeitung des Kundenanliegens prüfen.
Die genannten Faktoren sind Bestandteile eines Messsystems. Ein Messsystem per Definition ist nicht ausschließlich ein Gerät mit dem gemessen wird. Vielmehr besteht ein Messsystem aus Personen oder Prüfern, dem Ablauf der Messung, Prüf- und Bewertungskriterien und weiteren Faktoren, die das Gesamtsystem als Messsystem beschreiben. Diese Faktoren können mehr oder weniger Einfluss auf die Ergebnisse der Messung haben. Mittels einer Messsystemanalyse prüft man das vorhandene Messsystem und die Messmittel. Ziel ist die Minimierung der Einflüsse der kontrollierbaren Faktoren, die das Ausmaß der Streuung in den Daten beeinflussen und so das Ergebnis verfälschen können. Dabei stehen vor allem die Wiederholbarkeit (Repeatability) und Reproduzierbarkeit (Reproducibility) im Fokus der Betrachtung. Aus diesem Grund wird die Messsystemanalyse auch häufig als Gage R&R bezeichnet.
Für die Messsystemanalyse diskreter Daten sollten mindestens 30 typische Einheiten, z.B. bearbeitete Emails, so ausgewählt werden, dass etwa die Hälfte fehlerfrei und die andere Hälfte mit Fehlern ausgestattet ist. Die Fehler sollten nicht offensichtlich und nicht sofort als solche identifizierbar sein. Diese Auswahl und Bewertung wird von einer mit den Qualitätsanforderungen bestens vertrauten Person, einem Experten, durchgeführt. Die Bewertung des Experten gilt als Referenz für eventuell notwendige Kalibrierungen, sollten Experte und Prüfer zu unterschiedlichen Ergebnissen kommen. Nach erfolgter Bewertung des Experten werden die Emails den eigentlichen Qualitätsprüfern vorgelegt, ohne dass die Einschätzung durch den Experten bekannt ist. Eine klassische Messsystemanalyse besteht immer aus einem Experten und 2 Prüfern. Kommen die beiden Prüfer in Ihrer Bewertung der gleichen Email zu unterschiedlichen Ergebnissen, ergibt sich ein Fehler in der Reproduzierbarkeit der Bewertung. Wiederholt ein und derselbe Prüfer die Prüfung der durch ihn bereits erfolgten Email und kommt zu einem anderen Ergebnis, liegt ein Fehler in der Wiederholbarkeit vor. Die wiederholte Prüfung ist so durchzuführen, dass der Prüfer nicht weiß, wie seine vorangegangene Bewertung der gleichen Email ausgefallen ist. Jede Email muss also auf Wiederholbarkeit (1 Prüfer prüft 1 Email zweimal und kommt zum identischen Ergebnis) und Reproduzierbarkeit (2 Prüfer prüfen 1 Email und beide Prüfer kommen zum identischen Ergebnis) überprüft werden. Wiederholbarkeit und Reproduzierbarkeit müssen jeweils zu 100% erfüllt sein. Jede Abweichung bedeutet ein Zulassen von fehlerhaften Emails, nicht vergleichbaren Daten (als Ergebnis einer qualitativen Prüfung) und in Folge dessen, zu einer unsicheren Aussage zur tatsächlichen qualitativen Leistung.
Sind die Anforderungen der Reproduzierbarkeit und Wiederholbarkeit erfüllt, ist eine Vergleichbarkeit der Daten gegeben und es kann sofort zur Datenerfassung übergegangen werden. In allen anderen Fällen ist das Messsystem auf die Ursache der nicht vorhandenen Reproduzierbarkeit und/oder Wiederholbarkeit zu prüfen. Eine häufige Ursache ist die ungenaue Definition der Prüfkriterien oder eine mangelnde Kalibrierung und Abstimmung der Prüfer und des Experten untereinander. In diesem Fall ist es sinnvoll, die Prüfkriterien zu überarbeiten und so objektiv wie möglich zu definieren oder um Erläuterung zu ergänzen. Ebenso ist es sinnvoll, regelmäßige Kalibrierungen zu Ablauf und Inhalt der Prüfungen mit allen Prüfern durchzuführen.
Die Messsystemanalyse ist solange durchzuführen, bis es keine Abweichungen in der Reproduzierbarkeit und Wiederholbarkeit gibt. Darüber hinaus ist es zu empfehlen eine Messsystemanalyse in regelmäßigen Abständen oder auch nach einer Veränderung innerhalb des Prüfer-Teams, sowie einer Anpassung der Prüfkriterien, durchzuführen.
– Sophie Gießler (Berater)
junokai