Cypress-Kommandozeile blinkt. cy.prompt('Schreib End-to-End-Tests für Sauce Demo Login, Checkout, basierend auf diesen Docs'). Peng – KI spuckt eine komplette Test-Suite aus, gestützt auf RAG-gestützte Komponenten-Specs, Bug-Historien, API-Docs. Ich lehne mich zurück, skeptisch. Erwarte, dass menschlicher Schliff sie plattmacht. Tut er nicht ganz.
Dieses Mensch-gegen-KI-Duell bei Cypress-Tests war kein Hype. Echte App: Sauce Demo, der Swag-Shop – E-Commerce-Demo, die Devs zum Tottexten lieben. Gleiche Flows: Login, Warenkorb, Checkout. Mensch schreibt aus dem Gedächtnis – Jahre Kampf gegen Flakiness, Stammeswissen. KI? Nur Docs, indexiert in ChromaDB. Kein Blick in Prod-Bugs, es sei denn dokumentiert.
Was die KI rockt – und warum es mich schockiert
Selektoren. Tödlich genau. Direkt aus dem Komponenten-Doc: .inventory_list, #add-to-cart-sauce-labs-backpack. Kein Raten, keine fragilen XPath-Alpträume. Locked-out-User? Weiß Bescheid, Bug-History brüllt es raus. Mensch hätte improvisieren können; KI zuckt nicht.
Hier die generierten Tests – KIs links, menschliche implizit im Vergleich:
Nach dem Indexieren der drei Docs in ChromaDB und Ausführen von cy.prompt() mit dem Kontext habe ich beide Tests laufen lassen. Gleiche App, gleiche Flows, einer vom Menschen geschrieben, der andere RAG-gestützt.
Zitat vom Experiment-Autor. Roh, ungefiltert. KI deckt Breite ab: Jeder dokumentierte Flow, verifizierte Elemente existieren. Checkout? Warenkorb-Zusammenfassung? Locked Login? Check, check, check.
Aber.
Kürzester Absatz aller Zeiten: Intent rutscht ab.
KI prüft, ob eine Fehlermeldung da ist. Nicht “Sorry, this user has been locked out.” Mensch tut’s. Das ist der “Warum” – Docs listen Selektoren, Bugs Szenarien, aber erwarteter Text? Das ist Dev-Intent, aus Standups gemeißelt, nicht Wikis. RAG blind für Geflüster.
Und undokumentierte Flows? Weg. Letzten Dienstag A/B-Test-Tweak? Unsichtbar. Pipeline nur so scharf wie dein Indexing. API-Specs falsch chunked – wie der Post-zwei-Tipp zu besseren Strategien – und du bist geliefert.
Kann KI Cypress-Test-Autoren schon ersetzen?
Hört zu, mein Alleinstellungsmerkmal: Das erinnert an 1970er-Fortran-Compiler. Frühe spuckten bugfreien Code aus Specs – schneller als Lochkarten-Jockeys. Aber Edge-Cases, Business-Logic-Macken? Menschen debuggten Intent-Lücken. KI ist da jetzt mit Cypress. Deckt 80% dokumentierte Pfade fehlerfrei. Verpasst die 20% Stammeswissen. Vorhersage: Bis 2026 Hybrid-Agenten – KI-Entwürfe, menschliche Intent-Injektionen per Voice-Prompts – Standard. Cypress Cloud setzt drauf.
cy.prompt-Setup? Achtung: Braucht Cloud-Auth. Nicht lokal. Bin selbst gestolpert – Docs vergraben’s. cypress cloud auth laufen, sonst nix.
Skeptisch? War ich. Lokal auf Sauce Demo getestet. KIs Tests: Grün über bekannte Flows. Menschliche: Grün plus exakte Assertions. Unentschieden? Nee. KI gewinnt Speed/Breite. Mensch: Tiefe.
Corporate-Spin-Check: Cypress wirbt cy.prompt als “AI-powered Test-Gen”. Fair – aber verlasst euch nicht blind drauf. Augmentation, kein Ersatz.
Warum RAG der Secret Sauce ist (Wortspiel beabsichtigt)
Retrieval-Augmented Generation. Docs → ChromaDB → Prompt. Kein Halluzinations-Roulette. Komponenten-JSON, Bug-Markdown, API-OpenAPI füttern – Tests kommen geerdet raus.
Menschlicher Prozess? Brain-RAG: Gedächtnis, Jira, Slack. Langsamer, aber ganzheitlich.
Blind Spots häufen sich. KI ignoriert Perf, Accessibility, außer explizit gefragt. Mensch? Instinkt riecht cy.wait(5000) faul. Auf 100 Flows skalieren? KI glänzt. One-off Hero-Test? Mensch.
API-Specs per Endpoint chunked? Post-zwei-Perle. Splittet Payloads sauberer, weniger Noise. Ergebnisse? Teilt sie – neugierig echt.
Der hybride Weg nach vorn
Keinen Gewinner wählen. Blind Spots ausnutzen. Workflow: KI entwirft aus Docs. Mensch prüft Intent, fügt undokumentierte Flows hinzu. Tools wie cy.prompt verschieben Architektur: Tests als lebende Docs, auto-gen aus Specs.
Fetter Call: Das zündet “Test-by-Desi
