Wie gut ist Ihr Chatbot wirklich?
Speed, Antwort-Qualität, DSGVO, UI: eine Note 0-10 mit Side-by-Side-Vergleich zu bis zu drei Konkurrenten. Plus konkrete Verbesserungen, die wirklich was bringen.
Was prüft der Chatbot-Quality-Check?
4 Dimensionen, gewichtet nach Impact auf Ihre Conversion.
Speed (30 %)
P50-Latenz erste-Antwort über 8 Test-Fragen. Erfahrungsgemäß verlieren Bots über 3 s Antwortzeit einen erheblichen Teil der User vor der zweiten Frage.
Antwort-Qualität (40 %)
5 universelle + 3 branchen-spezifische Fragen. LLM-Evaluator (OpenRouter Gemma 4) bewertet Relevanz, Faktentreue, Halluzinationsfreiheit.
DSGVO (15 %)
5 DOM-Checks: Cookie-Banner, Privacy-Link, AVV-Hinweis, EU-Hosting, EU AI Act §50 Disclosure (Q4 2026).
Bedienbarkeit (15 %)
Mobile-Responsive, ARIA-Labels, Close-Button, Conversation-History, nicht-aufdringliches Branding. DOM + Mobile-Viewport-Simulation.
4 Dimensionen × 8 Test-Fragen = 1 Score von 0-10
Die meisten Chatbot-Vergleiche im Netz testen entweder die Anbieter (Tidio vs Intercom vs HubSpot) oder den Funktions-Umfang. Beides nützlich, aber nicht das, was Kunden tatsächlich erleben.
Was Kunden erleben: Wie schnell antwortet der Bot? Versteht er meine Frage? Halluziniert er? Ist er DSGVO-sicher? Genau diese vier Dimensionen messen wir bei jedem Scan, auf Ihrer Site und auf Ihren Konkurrenten-Sites side-by-side.
Der Score ist eine Note, kein Audit.Eine 4/10 heißt nicht "Verstoß gegen DSGVO", sondern "im DSGVO-Block haben Sie die Hälfte der Best-Practices noch offen". Ein 8.5/10 heißt nicht "perfekt", sondern "deutlich über DACH-KMU-Schnitt (5.8)".
Warum 4 Layer? Weil Speed allein nichts wert ist, wenn die Antwort falsch ist. Und Accuracy nichts wert ist, wenn der Bot nach 8 Sekunden antwortet. Und beides nichts wert ist, wenn die DSGVO-Behörde anklopft. Layer-Gewichtung: Speed 30 % · Accuracy 40 % · DSGVO 15 % · UI 15 %.
Drei Gründe, warum Chatbot-Quality 2026 wichtiger wird als je zuvor
1. EU AI Act tritt in Kraft (Artikel 50, August 2026)
Jeder Chatbot, der mit EU-Bürgern interagiert, muss klar als KI erkennbar sein. Strafen: bis 3 Prozent Jahresumsatz. Tools wie Tidio Standard-Setup erfüllen das nicht out-of-the-box. Wir prüfen den Hinweis im Score.
2. Customer-Erwartungen verschieben sich
ChatGPT hat das Bar gesetzt: Antworten in <1 Sekunde, sprachlich elegant, faktisch korrekt. Wer 2026 noch mit Standard-Tidio (3-4 s, generische Antworten) arbeitet, fällt hörbar zurück. Studien zeigen: 60-80 Prozent der Standard-Anfragen könnten automatisiert werden, wenn der Bot gut genug ist. Bei DACH-KMU sind aktuell nur 25-40 Prozent automatisiert.
3. KMU-fähige Custom-LLM-Lösungen sind erschwinglich geworden
Was 2023 noch ein 50.000-€-Enterprise-Projekt war, kostet 2026 ab 49 €/Monat. RAG-Setup (Bot kennt Ihre FAQs/Produkte/AGB) liefert ab Tag 1 Mehrwert. B01 AI-Consultant-Chatbot von Bot-Agent: 49-149 €/Monat, Setup 99-299 € (BAFA-fähig).
Konkurrenten-Vergleich: Sehen, wo Sie stehen
Sie können bis zu drei Konkurrenten-URLs angeben. Wir scannen jede identisch zu Ihrer Site: gleiche 8 Fragen (5 universal + 3 aus Ihrer Branche), gleiche Scoring-Formel.
Das Ergebnis ist eine Side-by-Side-Tabelle plus ein automatisch generierter Insight: "Konkurrent A erreicht 8.2/10, Sie 4.4/10. Hauptunterschied: Custom-LLM mit RAG vs Standard-Tidio."
Warum das wertvoll ist: Sie wissen nicht nur, wo Sie stehen, sondern auch, was die besseren Konkurrenten anders machen. Plus: der Vergleich ist screenshot-fähig (LinkedIn, Slack), erzeugt zweite-Klicks und virale Loops.
Hinweis: Wir scannen sequenziell, nicht parallel, um Rate-Limits der Fremd-Widgets nicht zu verletzen. Mit drei Konkurrenten dauert ein Scan ca. 90 Sekunden.
B01 AI-Consultant-Chatbot, ab 49 €/Monat netto
Custom-LLM mit Ihrem FAQ-Wissen. Antworten unter 1 Sekunde. EU-DSGVO und AI Act ready. Setup in 3-5 Tagen. Multi-Channel (Web + WhatsApp + Telegram). Score-Schnitt im Audit-Test: 8.7/10.
Häufige Fragen (FAQ)
Was ist ein guter Chatbot-Score?
DACH-KMU-Schnitt liegt bei 5.8/10 (eigene Datenerhebung über die ersten 200 Scans, Q2 2026). Ab 7+ sind Sie im oberen Drittel. 8+ heißt: deutlich differenziert. 9+ schaffen meist nur Custom-LLM-Setups mit RAG.
Welche Branchen-Fragen testet ihr?
Fünf Branchen, drei Fragen je Branche: E-Commerce, Hotel, Steuerberater, Handwerk, Coach. Plus 5 universelle Fragen, die immer laufen (Öffnungszeiten, Kontakt, Preis, Datenschutz, Stärken). Alle Fragen finden Sie in unserem Glossar unten.
Ist das ethisch, Test-Fragen ans Fremd-Widget zu senden?
Ja. Wir senden maximal 8 Fragen pro Scan, identifizieren uns ehrlich als Bot-Agent-ChatbotCheck/1.0 im User-Agent, und respektieren robots.txt. Das gleicht einem manuellen Test eines neugierigen Kunden, nur strukturierter.
Wie funktioniert die Speed-Messung?
Wir senden den HTTP-POST ans erkannte Chatbot-API-Endpoint und messen die Zeit bis zur ersten Token-Antwort. Bei Widgets ohne öffentliches API (Intercom, Drift) fällt der Speed-Layer auf "manual-test-required" zurück und wird im Composite-Score nicht gewichtet.
Was macht einen Chatbot DSGVO-sicher?
Kurzversion: Cookie-Banner vor erstem Chat-Open plus AVV mit Anbieter plus EU-Server (oder Adäquanzbeschluss) plus Datenschutz-Hinweis im Widget plus ab Aug 2026: EU AI Act Transparenz ("Sie sprechen mit KI"). Wir prüfen alle 5 Punkte.
Welche Chatbot-Tools werden erkannt?
15 Vendor-Slots in unserer Signatur-Tabelle: Intercom, Tidio, Tawk.to, ChatBot.com, Drift, HubSpot Conversations, Zendesk Chat, Crisp, LiveChat, Freshchat, Chatbase, Voiceflow, Botpress, Landbot, ManyChat, plus Custom-LLM-Heuristik für individuelle Bots (z.B. eigene OpenAI/Claude/Gemini-Wrapper).
Konkurrenten-Vergleich, wie genau ist der?
Wir scannen jede Konkurrenten-URL identisch zu Ihrer. Gleiche 8 Fragen (5 universal plus 3 aus Ihrer Branche), gleiche Scoring-Formel. Side-by-Side-Tabelle zeigt absolute Werte. Wichtig: wir scannen public-facing Chatbots, Login-Bereiche oder kostenpflichtige Premium-Features werden nicht getestet.
Was, wenn meine Site keinen Chatbot hat?
Dann zeigt das Tool: "Kein Chatbot gefunden" plus Hinweise, was ein Chatbot Ihrem Geschäft bringen könnte (60-80 Prozent der Standard-Anfragen automatisierbar) plus Link zu B01 AI-Consultant-Chatbot als Einstieg.
Wie kann ich meinen Score verbessern?
Drei Hebel meistens entscheidend: (1) Speed unter 2 s (RAG plus gpt-4o-mini reicht). (2) Branchen-Wissen im RAG (Ihre FAQs, AGB, Produkte). (3) DSGVO-Hinweise im Widget-Setup. B01 von Bot-Agent löst alle drei in einem Pakage.
Was kostet ein professioneller Chatbot?
Tidio/Tawk Standard: 0-49 €/Monat, schnell aufgesetzt, generisches Wissen. B01 AI-Consultant-Chatbot von Bot-Agent: 49-149 €/Monat + Setup 99-299 €. Custom-LLM mit RAG, Ihre Inhalte, EU-DSGVO/AI-Act ready. Mit BAFA-Förderung "Förderung unternehmerischen Know-hows" ist der Setup-Eigenanteil ab 60 €.
Was ist der Unterschied zu Botpress Analytics, Intercom Reports oder Chatbase Insights?
Stand der Recherche: 2026-06-01, gemäss öffentlich verfügbarer Pricing-Seiten. Botpress Analytics, Intercom Reports und Chatbase Insights sind interne Analyse-Tools der jeweiligen Chatbot-Plattformen. Sie zeigen Metriken für ihren eigenen Chatbot:
- Botpress Analytics (Subscription ab ca. €79/Monat): Metriken für Botpress-Bots
- Intercom Reports (Pro ab ca. €99/Monat): Reports für Intercom-Conversations
- Chatbase Insights (ab ca. $40/Monat): Analytics für Chatbase-Agenten
- Erkennt 15 Widget-Signaturen automatisch (Intercom, Tidio, Tawk.to, Drift, HubSpot, Zendesk, Crisp, Chatbase, Voiceflow, Botpress, Landbot, ManyChat + Custom-LLM-Heuristik)
- Bewertet in 4 Layern: Speed (P50-Latenz), Accuracy (LLM-Evaluator), DSGVO, UI. Nur messbare technische Indikatoren
- Optionaler Konkurrenten-Vergleich mit bis zu 3 weiteren URLs side-by-side
- DSGVO + EU-AI-Act-§50-Indikatoren (illustrative Hinweise, keine rechtliche Bewertung)
- Kostenlos, ohne Account, mit Ethical Caps (max. 10 Anfragen pro Scan)
Glossar: Chatbot-Begriffe verstehen
Chatbot
Software-Agent, der mit Nutzern via Text (oder Sprache) interagiert. Reicht von Skript-basiert (Decision-Tree) bis Custom-LLM mit RAG.
AI-Assistant
Synonym zu "Chatbot" mit Fokus auf LLM-Backend (GPT, Claude, Gemini).
RAG (Retrieval-Augmented Generation)
Technik, bei der ein LLM Antworten aus Ihrer eigenen Wissensbasis (FAQs, Produkte, AGB) zieht, statt nur generisches Internet-Wissen. Schlüssel zu hohem Accuracy-Score.
Intent Recognition
Fähigkeit des Bots, die Absichthinter einer Frage zu erkennen ("Storno" vs "Rückgabe" vs "Reklamation"). Bessere Intent Recognition = höherer Accuracy-Score.
Speed-to-Reply (P50)
Median-Latenz erste-Antwort. Wir nutzen P50, nicht P95, weil Ausreißer (Server-Hiccups) den User-Eindruck weniger prägen als der typische Fall.
DSGVO-Cookie-Banner
Banner, das vor Erst-Chat-Auto-Open Einwilligung einholt. EU-rechtlich Pflicht. Im Score: 25 Punkte DSGVO-Layer.
EU AI Act §50
Transparenzpflicht für KI-Systeme (EU AI Act, Q4 2026). Chatbots, Deepfakes müssen offengelegt werden. Verstoß: bis 15 Mio € oder 3 Prozent weltweiter Umsatz.
Widget-Library
SDK des Anbieters (z.B. Tidio's tidioChatApi), das das Chat-Symbol einbindet und User-Interaktion handhabt. Detection läuft via Signaturen dieser Libraries.
Conversation-Flow
Skript oder LLM-Logik, wie der Bot von Frage zu Frage führt. Gut designte Flows haben klare Eskalations-Pfade ("Mensch übernimmt").
Mobile-Responsive Widget
Widget skaliert auf Smartphone-Viewports (≤ 768 px) ohne Overlap, mit lesbarer Schrift, fingerfreundlichen Buttons. UI-Layer-Check.
Multi-Channel Chatbot
Ein Bot, der Web + WhatsApp + Telegram + Email-Kanäle gleichzeitig bedient. Aktueller DACH-Trend 2026, in B01 als Add-On verfügbar.
B01 AI-Consultant-Chatbot
Bot-Agent's Flagship-Pakage für KMU. Custom-LLM mit RAG auf Ihre Inhalte. 49-149 €/Monat + Setup 99-299 € (BAFA: Eigenanteil ab 60 €).