A/B-Testing im KI-gestützten Vertrieb: Wie Sie Ihre KI-Automatisierungen optimieren

A/B-Testing im KI-Vertrieb klingt nach Konzernmarketing, ist aber im Kern eine einfache Idee: Sie lassen zwei Varianten Ihrer Automatisierung gegeneinander laufen und schauen, welche mehr Termine oder Aufträge bringt. Dieser Beitrag zeigt, wann ein solcher Test für einen kleinen Betrieb überhaupt aussagekräftig ist, wie Sie ihn sauber aufsetzen und was Sie stattdessen tun, wenn die Anfragemenge nicht reicht.

Was A/B-Testing im KI-Vertrieb bedeutet

Ein KI-gestützter Vertriebsprozess besteht aus vielen kleinen Entscheidungen, die jemand irgendwann getroffen hat: Wie begrüßt der Chat einen Besucher? Fragt der digitale Mitarbeiter zuerst nach dem Budget oder nach dem Zeitpunkt? Kommt die Erinnerung an ein offenes Angebot nach drei oder nach sieben Tagen? Meist beruhen diese Entscheidungen auf Bauchgefühl oder auf der Voreinstellung des Anbieters.

Beim A/B-Test ändern Sie genau eine dieser Stellschrauben. Die eine Hälfte der Anfragen erhält Variante A, die andere Variante B, und zwar zufällig verteilt und im selben Zeitraum. Am Ende vergleichen Sie eine vorher festgelegte Kennzahl, etwa wie viele Gespräche in einen gebuchten Termin münden. Entscheidend ist, dass sich zwischen den Gruppen nur dieses eine Detail unterscheidet. Ändern Sie gleichzeitig Begrüßung, Tonfall und Nachfasszeitpunkt, wissen Sie hinterher nicht, was gewirkt hat.

Ein A/B-Test ist etwas anderes als ein Vorher-nachher-Vergleich. Wer im März Variante A und im April Variante B einsetzt, misst auch den Unterschied zwischen März und April: Ferien, Wetter, eine Rabattaktion, eine Baustelle vor dem Laden. Das kann in die Irre führen.

Wann sich ein A/B-Test im Vertrieb überhaupt lohnt

Die ehrliche Antwort für viele kleine Betriebe lautet: seltener, als Software-Anbieter suggerieren. Ein Test braucht genug Fälle, damit ein Unterschied nicht bloß Zufall ist. Die folgende Beispielrechnung zeigt, warum.

Beispielrechnung: Online-Shop gegen Kosmetikstudio

Die Zahlen sind Annahmen zur Veranschaulichung, keine Messwerte.

Annahme	Online-Shop	Kosmetikstudio
Chat- und WhatsApp-Anfragen pro Monat	800	60
Anfragen je Variante pro Monat	400	30
Abschlüsse je Variante bei Variante A	etwa 32	etwa 3
Zeit bis zu einem belastbaren Ergebnis	einige Wochen	kaum erreichbar

Beim Shop führen 400 Gespräche je Variante zu einigen Dutzend Bestellungen. Liegt Variante B nach einem Monat deutlich vorn, ist das ein brauchbares Signal. Beim Kosmetikstudio stehen sich vielleicht drei und fünf Buchungen gegenüber. Diesen Unterschied kann eine einzige Kundin erzeugen, die zufällig in Gruppe B gelandet ist. Selbst nach einem halben Jahr wäre das Ergebnis wackelig.

Als grobe Faustregel gilt: Wenn Sie pro Variante nicht mindestens mehrere Dutzend Abschlüsse erwarten, ist ein klassischer A/B-Test vergeudete Mühe. Kostenlose Online-Rechner für Stichprobengrößen helfen bei der genaueren Abschätzung.

So setzen Sie einen sauberen A/B-Test auf

1. Eine Hypothese aufschreiben. Zum Beispiel: Wenn der Chat bei Retourenfragen zuerst die Bestellnummer abfragt, brechen weniger Kunden das Gespräch ab. Ohne Hypothese testen Sie ins Blaue.
2. Die Zielgröße festlegen, bevor der Test startet. Eine Hauptkennzahl, etwa gebuchte Beratungstermine je Gespräch. Nebenkennzahlen wie Antwortrate oder Gesprächsdauer beobachten Sie, entscheiden aber nicht danach.
3. Nur eine Sache ändern. Formulierung der ersten Nachricht, Reihenfolge der Fragen oder Zeitpunkt der Erinnerung. Alles andere bleibt gleich.
4. Zufällig verteilen. Die meisten Chat- und Automatisierungsplattformen können Gespräche abwechselnd oder per Zufall einer Variante zuordnen. Fragen Sie Ihren Anbieter, wie das bei Ihnen funktioniert.
5. Laufzeit vorher festlegen. Mindestens zwei volle Wochen, damit Wochentage und Wochenenden in beiden Gruppen vorkommen. Brechen Sie nicht ab, sobald eine Variante kurz vorn liegt; solche Zwischenstände kippen oft wieder.
6. Auswerten und dokumentieren. Halten Sie fest, was getestet wurde, wie lange und mit welchem Ergebnis. Die Gewinnervariante wird zum neuen Standard, gegen den der nächste Test antritt.

Welche Kennzahlen sich als Zielgröße eignen, beschreibt unser Überblick über die wichtigsten KPIs für KI-Vertriebsautomatisierung.

Was Sie zuerst testen sollten

Nicht jede Stellschraube ist gleich wichtig. Testen Sie zuerst dort, wo die meisten Interessenten verloren gehen. Ein Blick in die Gesprächsprotokolle zeigt meist schnell, an welcher Stelle Kunden aussteigen.

Testgegenstand	Beispiel für A und B	Sinnvolle Zielgröße
Erste Nachricht	Offene Frage gegen Auswahlknöpfe	Anteil der Besucher, die antworten
Reihenfolge der Qualifizierung	Erst Bedarf, dann Kontaktdaten gegen umgekehrt	Abgeschlossene Qualifizierungen
Terminangebot	Zwei konkrete Vorschläge gegen Kalenderlink	Gebuchte Termine
Nachfassen bei Angeboten	Erinnerung nach drei gegen nach sieben Tagen	Angenommene Angebote
Tonfall	Sachlich gegen locker	Gebuchte Termine, Beschwerden

Gerade bei Formulierungen lohnt es sich, Varianten gründlich vorzubereiten. Anregungen dazu finden Sie im Beitrag über KI-Vertriebsskripte, die konvertieren.

Grenzen und typische Fehler

Der häufigste Fehler ist ein Test mit zu wenig Fällen, dessen Ergebnis anschließend als Erkenntnis verkauft wird. Der zweithäufigste: zu viele parallele Tests. Wer gleichzeitig die Begrüßung und den Nachfassrhythmus verändert, vermischt die Effekte. Mehr als ein laufender Test pro Prozessschritt ist für kleine Teams selten sinnvoll.

Es gibt außerdem Dinge, die Sie nicht testen sollten. Der Hinweis, dass Kunden mit einer KI sprechen, gehört nicht in einen A/B-Test. Wir empfehlen, ihn immer zu geben; der EU AI Act sieht diese Transparenz vor. Auch Preise oder Konditionen, die sich je nach Gruppe unterscheiden, sind heikel und können Kunden verärgern, wenn sie davon erfahren. Und wenn Sie für die Auswertung Website-Tracking einsetzen, brauchen Sie dafür in der Regel eine Einwilligung über Ihr Cookie-Banner.

Die Alternative für kleine Anfragemengen

Wenn die Menge nicht reicht, arbeiten Sie mit sorgfältigen Vorher-nachher-Vergleichen. Ändern Sie eine Sache, lassen Sie sie mindestens einen Monat laufen und vergleichen Sie mit dem Vormonat und, wenn vorhanden, mit demselben Monat des Vorjahres. Ergänzen Sie das um qualitative Auswertung: Lesen Sie jede Woche zwanzig Gespräche quer. Bei einer Physiotherapiepraxis oder einem Salon bringt das oft mehr als jede Statistik, weil man sofort sieht, an welcher Frage Kunden hängen bleiben.

Häufige Fragen

Wie viele Anfragen brauche ich mindestens für einen A/B-Test?

Eine feste Zahl gibt es nicht, weil es auf die Abschlussquote und den erwarteten Unterschied ankommt. Entscheidend ist die Zahl der Abschlüsse je Variante, nicht die Zahl der Gespräche. Erwarten Sie nur eine Handvoll Abschlüsse pro Gruppe, ist das Ergebnis kaum aussagekräftig.

Kann die KI selbst entscheiden, welche Variante gewinnt?

Manche Systeme verteilen Anfragen automatisch auf die Variante, die gerade besser abschneidet. Das ist bei großen Mengen praktisch. Bei kleinen Mengen verstärkt es aber Zufallsschwankungen. Behalten Sie die Entscheidung über den neuen Standard deshalb beim Menschen.

Wie oft sollte ich testen?

Lieber wenige gut geplante Tests als einen pro Woche. Für die meisten kleinen und mittleren Betriebe sind ein oder zwei Tests pro Quartal realistisch, eingebettet in einen Plan wie unseren 90-Tage-Plan für KI-Vertriebsautomatisierung.

Muss ich Kunden informieren, dass ich teste?

Für das Testen unterschiedlicher Formulierungen gibt es keine eigene Informationspflicht. Die allgemeinen Datenschutzhinweise müssen aber beschreiben, welche Daten Sie im Gespräch verarbeiten und wofür. Lassen Sie das im Zweifel von Ihrem Datenschutzbeauftragten prüfen.

Fazit

A/B-Testing hilft, eine laufende KI-Automatisierung Schritt für Schritt zu verbessern, aber nur bei ausreichender Anfragemenge und mit einer einzigen Änderung pro Test. Wer weniger Anfragen hat, fährt mit sauberen Vorher-nachher-Vergleichen und regelmäßigem Mitlesen besser. Falls Sie noch vor dem Start stehen, lesen Sie zuerst, wie Sie KI-Vertriebsautomatisierung in 7 Tagen implementieren.

Für Händler mit vielen Chat-Anfragen zeigt die Seite KI-Vertriebsassistent für Online-Shops, wie ein digitaler Mitarbeiter Gespräche führt und die Ergebnisse an Ihr CRM übergibt.