Was ist Peekaboo?

Peekaboo ist ein Open Source macOS Automation Toolkit für KI Agenten. Es kombiniert pixelgenaue Screen Captures, das Lesen des Accessibility Trees und vollständige GUI Steuerung (Klicks, Tastatureingaben, Menüs, Fenster) zu einem einheitlichen Werkzeugkasten. Über einen MCP Server stehen exakt dieselben Tools auch KI Clients wie Codex, Claude Code und Cursor zur Verfügung.

Peekaboo wird von Peter Steinberger (steipete) als Teil des openclaw Ökosystems entwickelt. Es ist damit das Schwesterprojekt zu OpenClaw und schließt die Lücke zwischen Terminal Agents wie Clawdbot und der Desktop Welt: KI Agents können sehen was auf dem Bildschirm passiert und gezielt klicken, statt nur Code zu schreiben.

Praktisch heißt das: ein einziger Shell Befehl wie peekaboo agent "open Safari and search for Peekaboo" reicht aus, um eine natürlichsprachliche Aufgabe in eine Kette von Capture, Resolve und Click Schritten zu zerlegen. Das macht Peekaboo zu einem zentralen Baustein für Vibe Coding Workflows, bei denen Agents nicht nur Code generieren sondern auch echte Software bedienen.

NCA arbeitet täglich mit Terminal Agents und MCP Servern, baut eigene KI Tools und beobachtet das openclaw Ökosystem von Anfang an. Wir wissen wo Peekaboo glänzt, wo es noch raue Kanten hat und wie sich macOS GUI Automation in eine produktive Vibe Coding Pipeline einbetten lässt. Diese Erfahrung kommt aus echter Praxis: eigene Production Server in Deutschland, lokale KI Modelle über Ollama und enge Beobachtung der OpenClaw Entwicklung.

Wir helfen Teams Peekaboo einzuordnen und zu bewerten: passt es zum Use Case, welche Risiken bringt es mit, wie sieht ein sinnvoller Stack rundherum aus. Unsere Vibe Coding Beratung kombiniert das mit konkretem Projekt Rescue, KI Tool Entwicklung auf Symfony Basis, PHP Beratung und sicheren CI/CD Pipelines. Dazu kommt Mentoring im Vibe Coding Mentoring Programm, damit dein Team nicht nur ein Tool kennenlernt, sondern eine ganze Arbeitsweise versteht.

Peekaboo verteilt sich auf drei Oberflächen, die alle denselben Swift Core und denselben Werkzeugkasten nutzen. Du wählst die Form, die zum Workflow passt — und kannst zwischen ihnen wechseln ohne deine Skripte neu zu schreiben. Das ist eine bewusste Architektur Entscheidung: ein Capture Mechanismus, ein Click Mechanismus, drei Wege ihn anzusprechen.

Wer Peekaboo zum ersten Mal ausprobiert, startet meistens mit der CLI über Homebrew. Für KI Agents kommt sofort der MCP Server ins Spiel, der die Tools per Standard Protokoll für Claude Code, Codex und Cursor verfügbar macht. Die native Mac App ergänzt das Ganze um Visualizer, Permission Flows und einen Menu Bar Status.

Peekaboo deckt vier Bereiche ab, die zusammen den kompletten Desktop Loop abbilden: Capture liefert das Bild, See reichert es mit dem Accessibility Tree an, Act führt Eingaben aus und Agent orchestriert alles in einem natürlichsprachlichen Plan Act Loop.

Die Capture Engine arbeitet pixelgenau, kann auf Retina 2x skalieren und nutzt CGWindowList APIs für schnelle Hintergrund Aufnahmen. Bei Interaktionen kombiniert Peekaboo zwei Strategien: Action first über native Accessibility Aufrufe (zuverlässig bei normalen UI Controls) und synthetische Eingaben als Fallback für widerspenstige Apps, die nicht über AX steuerbar sind.

Die CLI Befehle decken alles ab was du erwartest: capture, see, click, type, scroll, drag, hotkey, menu, dialog, window, app, space. Jeder Befehl gibt strukturiertes JSON zurück und lässt sich in Shell Pipelines weiterverarbeiten, was Peekaboo gut in CI/CD Pipelines integriert.

Peekaboo bindet sich nicht an einen einzelnen KI Anbieter. Der Agent Runtime spricht mit der GPT 5.1 Familie, Claude 4.x, Grok 4 fast (mit Vision), Gemini 2.5 und lokalen Ollama Modellen. Diese Multi Provider Architektur ist für unsere DSGVO Beratungspraxis ein wichtiger Punkt: wer kritische macOS Automation betreibt, möchte oft das Modell lokal halten.

Die Konfiguration läuft über Umgebungsvariablen. Ein typischer Setup in der MCP Client Konfiguration sieht so aus:

Für sensiblere Szenarien lässt sich der Provider auf ollama/qwen3-coder oder ein anderes lokales Modell setzen — der Code Pfad bleibt identisch. Genau diese Flexibilität nutzen wir bei NCA in Setups mit Qwen und Llama für Kunden, die keine Pixel an Cloud APIs schicken dürfen.

Peekaboo steht nicht alleine. Es ist Teil einer Familie von Werkzeugen rund um Peter Steinbergers openclaw GitHub Organisation, die zusammen einen kompletten KI Agent Stack für macOS bilden. Wer einen davon nutzt, profitiert oft auch von den anderen.

Die wichtigsten Beziehungen: OpenClaw hostet den lokalen PeekabooBridge Socket und ermöglicht so, dass macOS Permissions zentral verwaltet werden. Clawdbot und das Mac Mini Setup liefern einen always on KI Assistenten, der Peekaboo als Werkzeug für UI Aktionen nutzen kann. Moltbook sitzt als Social Layer drauf, in dem Bot Personas miteinander kommunizieren.

Dieser Stack ist deutlich offener als zentralisierte Anbieter Lösungen. Für Teams, die ihre Automatisierung souverän halten wollen, ist das ein Argument — wir sehen das regelmäßig in Beratungsterminen, wenn die Frage nach Datensouveränität und Tool Migration auf den Tisch kommt. Bei NCA bewerten wir solche Architekturen im Rahmen unserer Vibe Coding Consulting.

Die Installation läuft je nach Surface unterschiedlich, aber jede Variante braucht zwei Permissions, ohne die macOS Automation schlicht nicht funktioniert: Screen Recording (erlaubt Capture und Multi App Automation) und Accessibility (erlaubt zuverlässige Klicks und Tastatureingaben). Beide werden in den Systemeinstellungen unter Datenschutz und Sicherheit aktiviert.

Der MCP Server lässt sich ohne globale Installation per npx aus jedem MCP Client starten. Wer Peekaboo in Claude Code, Codex oder Cursor einbinden möchte, trägt einfach die MCP Server Konfiguration ein und gibt die Berechtigungen für das aufrufende Terminal frei.

Peekaboo v3 setzt macOS 26.1, Xcode 26 und Swift 6.2 als Minimum voraus. Der CLI Build wird per pnpm gesteuert. Für Production Setups empfehlen wir die signierte und notarisierte Homebrew Variante — eigene Builds erst dann, wenn ihr aktiv am Code mitarbeitet.

Peekaboo ist ein scharfes Werkzeug für einen ganz bestimmten Bereich. Es spielt seine Stärken dort aus, wo ein KI Agent eine echte Desktop App bedienen muss — sei es Safari, eine Native App, ein Installer oder ein Tool ohne API. Für reine Web Aufgaben sind Browser Agents oft die schlankere Wahl.

Gute Use Cases für Peekaboo: Smoke Tests von Desktop Apps, repetitive macOS Konfiguration, KI gestütztes Bug Reporting mit Screenshot Annotation, UI Workflows die kein API Pendant haben, Multi App Choreografie in CI Pipelines, Demos und Schulungen mit reproduzierbaren Sessions.

Weniger geeignet: Cross Plattform Automation (Peekaboo ist macOS only — für Windows nutzt die Community PeekabooWin als separates Projekt). Headless Server Workflows ohne UI. Browserautomation, für die Cypress oder Playwright das bessere Werkzeug sind. Auch sicherheitskritische Aktionen, die nur einmal laufen dürfen — hier ist der Agent Loop riskant, weil ein Modellfehler echte Klicks auslöst.

Aus Beratungsperspektive raten wir bei NCA: Peekaboo ist gut für Teams, die schon Erfahrung mit KI Agents haben und sauber zwischen Test, Staging und Production trennen. Wer den Schritt von Vibe Coding zur Production wagt, sollte das nicht ohne klare Guardrails tun — wir helfen mit Vibe Coding Projekt Rescue, wenn ein Setup aus dem Ruder läuft.

macOS Automation ist kein Neuland — AppleScript gibt es seit den 1990ern, Browser Tools wie Playwright und Cypress dominieren das Web E2E Testing. Peekaboo unterscheidet sich aber an drei Punkten: Plattform Tiefe (echte native Apps statt nur Browser), KI Integration (natürlichsprachlicher Agent Loop) und MCP Standard (jedes Tool ist über das offene Protokoll ansprechbar).

Die folgende Tabelle ordnet Peekaboo gegenüber den wichtigsten Alternativen ein. Welches Tool passt, hängt am Use Case — bei Cypress bleibt es für reine Web Tests die bessere Wahl, bei AppleScript für klassische Skripte ohne KI Bedarf.

In NCA Beratungsprojekten taucht macOS Automation immer wieder auf — meist bei Teams, die Claude Code bereits einsetzen und den nächsten Schritt suchen: nicht mehr nur Code generieren, sondern echte Software fahren lassen. Peekaboo ist hier der seriöseste Open Source Kandidat, weil es sauber dokumentiert ist, eine klare Architektur hat und über MCP standardkonform ansprechbar ist.

Was uns gefällt: die Trennung zwischen Action first (AX Aufrufe) und synthetischen Eingaben als Fallback, die strukturierten JSON Outputs für Pipeline Integration und das durchdachte Permission Modell mit Bridge Validation. Was Aufmerksamkeit braucht: ein Agent Loop, der echte Klicks auslöst, ist immer riskanter als ein reiner Code Agent. Falsche Modellentscheidungen können bei macOS Automation echte Schäden anrichten — Dateien werden verschoben, Einstellungen geändert, Mails verschickt.

Wir helfen Teams Peekaboo realistisch zu bewerten und einzubauen. Das umfasst: Architektur Workshops zur Frage welcher Agent macht was, sichere CI/CD Anbindung mit Sandbox Stages, Mentoring rund um Vibe Coding Best Practices und die Frage, wie sich Peekaboo mit eurem bestehenden Symfony Backend oder PHP Stack verbinden lässt. Auch MCP Connector Strategien gehören dazu, wenn ihr mehrere Agent Tools koordiniert.

Die wichtigsten Fragen aus Beratungsterminen rund um Peekaboo, macOS Automation und KI Agent Workflows — kompakt beantwortet für Entwickler und Tech Leads.