KI-Anbieter evaluieren: Checkliste für Geschäftsführer

Wer KI-Anbieter evaluieren muss, sitzt schnell vor einem Stapel Hochglanzdemos, die alle ähnlich klingen. Diese Checkliste übersetzt die Auswahl in konkrete Fragen, die Sie jedem Anbieter stellen können, von der Gesprächsqualität über Datenschutz und Vertrag bis zum Support nach dem Start. Sie ist für Geschäftsführer gedacht, die keine eigene IT-Abteilung haben, aber eine belastbare Entscheidung treffen wollen.

Vor dem ersten Gespräch: Was soll die KI eigentlich tun?

Die wichtigste Vorarbeit leisten Sie selbst. Schreiben Sie auf einer Seite auf, welche Aufgabe die KI übernehmen soll, über welche Kanäle und mit welchem Ziel. Zum Beispiel: „Anrufe und WhatsApp-Nachrichten außerhalb der Öffnungszeiten annehmen, Termine im Kalender buchen, dringende Fälle an den Bereitschaftsdienst weiterleiten.“

Mit dieser Seite vergleichen Sie Anbieter auf derselben Grundlage. Ohne sie vergleichen Sie Präsentationen. Legen Sie außerdem fünf bis zehn echte Kundenanfragen bereit, gern auch schwierige: den Anrufer, der nuschelt, die Frage, die nicht ins Schema passt, die verärgerte Nachricht. Diese Fälle spielen Sie später in jeder Demo durch. Notieren Sie zusätzlich einen Budgetrahmen für Einrichtung und laufende Kosten. So sortieren Sie Angebote aus, die nicht passen, bevor Sie Stunden in Gespräche investieren.

Die Checkliste: KI-Anbieter evaluieren in sechs Bereichen

1. Gesprächsqualität und Funktion

• Versteht das System Ihre Testfälle, auch mit Dialekt, Hintergrundgeräuschen oder Tippfehlern?
• Was passiert, wenn die KI eine Frage nicht beantworten kann? Gibt sie zu, dass sie es nicht weiß, oder erfindet sie etwas?
• Wie und wann wird an einen Menschen übergeben, und kommt der Kontext mit?
• Gibt sich die KI als KI zu erkennen? Das sollte sie, auch mit Blick auf den EU AI Act.

2. Datenschutz und Sicherheit

• Wo stehen die Server, und werden Daten in Länder außerhalb der EU übertragen, auch durch Unterauftragnehmer?
• Gibt es einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, und welche Unterauftragnehmer sind darin genannt?
• Werden Ihre Gesprächsdaten zum Training von Modellen verwendet?
• Wie lange werden Gespräche gespeichert, und können Sie Löschfristen selbst festlegen?
• Welche Sicherheitsnachweise gibt es, und was decken sie konkret ab? Was eine ISO-27001-Zertifizierung aussagt, erklärt der Beitrag ISO 27001 bei der Anbieterwahl.

3. Integration

• Lässt sich Ihr Kalender, Ihr CRM oder Ihre Branchensoftware anbinden, oder müssen Daten doppelt gepflegt werden?
• Wer richtet die Anbindung ein und wer kümmert sich, wenn Ihre Software ein Update bekommt?
• Gibt es eine dokumentierte Schnittstelle für spätere Erweiterungen?

4. Einführung

• Wie sieht der Ablauf von der Unterschrift bis zum Start aus, mit Terminen und Zuständigkeiten?
• Wie viel Zeit muss Ihr Team einplanen?
• Ist ein Testbetrieb vorgesehen, bevor echte Kunden mit dem System sprechen?

5. Support im laufenden Betrieb

• Wen erreichen Sie bei einem Problem, auf welchem Weg und zu welchen Zeiten?
• Wer passt Antworten an, wenn sich Preise oder Öffnungszeiten ändern: Sie selbst oder der Anbieter?
• Bekommen Sie Auswertungen, etwa zu Gesprächszahl, Übergaben und offenen Fällen?

6. Kosten und Vertrag

• Welche Kosten fallen einmalig an, welche monatlich, und was passiert bei mehr Gesprächen als im Tarif enthalten?
• Wie lang ist die Mindestlaufzeit, wie lang die Kündigungsfrist?
• Können Sie bei Vertragsende alle Daten in einem gängigen Format exportieren?
• Gibt es eine Testphase mit einfacher Ausstiegsmöglichkeit?

Warnsignale im Verkaufsgespräch

Einige Hinweise sprechen eher gegen einen Anbieter, unabhängig davon, wie gut die Demo klingt:

• Er nennt konkrete Steigerungen bei Umsatz oder Abschlussquote, ohne Ihre Zahlen zu kennen.
• Er kann nicht sagen, wo die Daten verarbeitet werden, oder verweist nur auf „die Cloud“.
• Die Demo läuft ausschließlich mit vorbereiteten Beispielen, Ihre eigenen Testfälle sollen „später“ kommen.
• Den Auftragsverarbeitungsvertrag gibt es erst nach der Unterschrift.
• Die Preisliste ist so verschachtelt, dass Sie Ihre Monatskosten nicht selbst ausrechnen können.

Umgekehrt ist ein Anbieter, der offen sagt, was sein System nicht kann, meist ein besserer Partner als einer, der jede Frage mit „das geht“ beantwortet.

Der eigene Testanruf

Verlassen Sie sich bei der Gesprächsqualität nicht auf Aufzeichnungen des Anbieters. Bitten Sie um eine Testnummer oder einen Testzugang, der mit Ihren Öffnungszeiten und ein paar Ihrer Antworten eingerichtet ist. Dann rufen Sie selbst an, und zwar mehrfach:

1. Einmal mit einem Standardanliegen, etwa einer Terminanfrage.
2. Einmal mit einer Frage, die die KI nicht wissen kann, zum Beispiel nach einem Sonderpreis.
3. Einmal mit einem dringenden Fall, bei dem eine sofortige Weiterleitung nötig wäre.
4. Einmal lassen Sie eine Kollegin anrufen, die schnell spricht oder Dialekt hat.

Schauen Sie danach nach, was im Kalender oder CRM angekommen ist. Ein freundliches Gespräch nützt wenig, wenn der Termin am Ende am falschen Tag steht oder die Rückrufnummer fehlt.

Wann Sie keinen KI-Anbieter brauchen

Auch das gehört zu einer ehrlichen Evaluation. Kommen bei Ihnen nur wenige Anfragen pro Tag und sind Sie zu den üblichen Zeiten gut erreichbar, löst ein KI-Assistent kein echtes Problem. Dann sind eine gute Mailbox-Ansage, ein Online-Kalender und feste Rückrufzeiten oft die bessere und günstigere Lösung.

Anbieter vergleichen: eine einfache Bewertungsmatrix

Bewerten Sie jeden Anbieter in den sechs Bereichen mit einer Note von 1 bis 5 und gewichten Sie die Bereiche nach Ihrer Situation. Eine Arztpraxis wird Datenschutz höher gewichten als ein Online-Shop, ein Handwerksbetrieb mit veralteter Software eher die Integration.

Bereich	Gewicht (Beispiel)	Anbieter A	Anbieter B
Gesprächsqualität	3
Datenschutz und Sicherheit	3
Integration	2
Einführung	1
Support	2
Kosten und Vertrag	2

Die Matrix ersetzt kein Urteil, sie macht es nachvollziehbar, auch für Mitgesellschafter oder die Bank. Eine ausführlichere Methode bietet das Entscheidungsframework für KMU. Ob ein deutscher oder ein internationaler Anbieter besser passt, behandelt der Vergleich deutsche vs. internationale KI-Anbieter.

Häufige Fragen

Wie viele Anbieter sollte ich mir ansehen?

Zwei bis drei in der engeren Wahl reichen meist. Mehr kostet viel Zeit, ohne die Entscheidung besser zu machen. Wichtiger ist, dass alle mit denselben Testfällen geprüft werden.

Soll ich auf einer Testphase bestehen?

Ja, wenn möglich. Ein kurzer Testbetrieb mit klaren Kriterien zeigt mehr als jede Demo. Wie Sie ihn aufsetzen, beschreibt der Beitrag zum KI-Pilotprojekt im Vertrieb.

Sind Kundenreferenzen aussagekräftig?

Sie helfen, wenn Sie selbst mit dem Referenzkunden sprechen können, idealerweise einem aus Ihrer Branche. Fragen Sie nicht nur nach dem Start, sondern danach, wie es nach einigen Monaten im Alltag läuft.

Wer im Unternehmen sollte an der Auswahl beteiligt sein?

Neben der Geschäftsführung die Person, die später mit dem System arbeitet, und bei personenbezogenen Daten Ihr Datenschutzbeauftragter oder Ihre Datenschutzberatung.

Fazit

Eine gute Anbieterwahl beginnt mit einer klaren Aufgabenbeschreibung und eigenen Testfällen, nicht mit der Demo. Prüfen Sie Gesprächsqualität, Datenschutz, Integration, Einführung, Support und Vertrag mit denselben Fragen bei jedem Anbieter, achten Sie auf Warnsignale und dokumentieren Sie Ihre Bewertung. Dann ist die Entscheidung auch in einem Jahr noch nachvollziehbar.

Wie ein digitaler Mitarbeiter in der Praxis Anfragen über Telefon, Chat und Messenger annimmt, können Sie am Beispiel Digitaler Assistent für Servicecenter mit Ihrer Checkliste prüfen.