Eliminierung technischer Schulden mit PHPStan, Rector PHP und PHPUnit. Über 20 Jahre Praxiserfahrung in skalierbaren Backends.
CORE EXPERTISE
- Aktualisiert:
- Autor:
- Roland Golla
Was ist Peekaboo?
Peekaboo ist ein Open Source macOS Automation Toolkit für KI Agenten. Es kombiniert pixelgenaue Screen Captures, das Lesen des Accessibility Trees und vollständige GUI Steuerung (Klicks, Tastatureingaben, Menüs, Fenster) zu einem einheitlichen Werkzeugkasten. Über einen MCP Server stehen exakt dieselben Tools auch KI Clients wie Codex, Claude Code und Cursor zur Verfügung.
Peekaboo wird von Peter Steinberger (steipete) im openclaw Ökosystem entwickelt und steht unter MIT Lizenz. Es ist damit das Schwesterprojekt zu OpenClaw und schließt die Lücke zwischen Terminal Agents wie Clawdbot und der Desktop Welt: KI Agents sehen, was auf dem Bildschirm passiert, und klicken gezielt, statt nur Code zu schreiben.
Praktisch heißt das: Ein einziger Shell Befehl wie peekaboo agent "open Safari and search for Peekaboo" reicht, um eine Aufgabe in natürlicher Sprache in eine Kette aus Capture, Resolve und Click zu zerlegen. Das macht Peekaboo zu einem Baustein für Vibe Coding Workflows, in denen Agents nicht nur Code erzeugen, sondern echte Software bedienen.
Inhalt
Peekaboo mit NCA: Schnelle Hilfe vom Experten
NCA arbeitet täglich mit Terminal Agents wie Claude Code und OpenCode, mit MCP Servern und eigenen KI Tools. Das openclaw Ökosystem verfolgen wir von Anfang an. Wir wissen, wo Peekaboo glänzt, wo es raue Kanten hat und wie sich macOS GUI Automation sauber in eine Vibe Coding Pipeline einbetten lässt. Dazu kommen eigene Server in Deutschland und lokale KI Modelle über Ollama.
Wir helfen Teams, Peekaboo einzuordnen: Passt es zum Use Case, welche Risiken bringt es mit, wie sieht ein sinnvoller Stack drumherum aus. Unsere Vibe Coding Beratung verbinden wir mit Vibe Coding Projekt Rescue, KI Tool Entwicklung, PHP und Symfony Beratung und sicheren CI CD Pipelines. Dazu kommt 1:1 Vibe Coding Mentoring, damit Entwickler nicht nur ein Tool kennenlernen, sondern eine Arbeitsweise verstehen.
Vibe Coding Beratung
Finde das passende Angebot für dein Projekt
Anfrage-Konfiguration
Starten Sie Ihre Anfrage
Projektart
Infos
Nachricht
Gesetzliche Konformität & Inklusion. Optimierung von Performance und Conversion durch radikal nutzerzentriertes, universelles Design.
BFSG COMPLIANT
Skalierbare KI-Systeme mit echtem Code Ownership. CI/CD, Backup-Strategien und Infrastruktur, die mit deinem Team wächst.
ENTERPRISE READY
Anfrage-Konfiguration
Worauf liegt dein Fokus?
Wähle die Expertise, die dein Projekt jetzt am dringendsten benötigt.
Drei Surfaces: CLI, MCP Server und Mac App
Peekaboo verteilt sich auf drei Oberflächen, die alle denselben Swift Core und denselben Werkzeugkasten nutzen. Du wählst die Form, die zum Workflow passt, und wechselst, ohne Skripte neu zu schreiben. Das ist eine bewusste Entscheidung: ein Capture Mechanismus, ein Click Mechanismus, drei Wege ihn anzusprechen.
Wer Peekaboo zum ersten Mal ausprobiert, startet meist mit der CLI über Homebrew. Für KI Agents kommt sofort der MCP Server ins Spiel, der die Tools über das Model Context Protocol für Claude Code, Codex und Cursor bereitstellt. Die native Mac App ergänzt Visualizer, Permission Flows und einen Status in der Menüleiste.
Was Peekaboo automatisiert
Peekaboo deckt vier Bereiche ab, die zusammen den kompletten Desktop Loop abbilden:
- Capture liefert das Bild
- See reichert es mit dem Accessibility Tree an
- Act führt Eingaben aus
- Agent orchestriert alles in einem Plan Act Loop in natürlicher Sprache
Die Capture Engine arbeitet pixelgenau, skaliert auf Retina 2x und nutzt CGWindowList APIs für schnelle Aufnahmen im Hintergrund. Bei Interaktionen kombiniert Peekaboo zwei Strategien: Action first über native Accessibility Aufrufe, zuverlässig bei normalen UI Controls, und synthetische Eingaben als Fallback für Apps, die sich nicht über AX steuern lassen. Seit Version 4.2 sichern zusätzliche Prüfungen Hintergrund Automation gegen Abweichungen ab.
Die CLI Befehle decken alles ab, was du erwartest: capture, see, click, type, scroll, drag, hotkey, menu, dialog, window, app, space. Jeder Befehl liefert strukturiertes JSON und lässt sich in Shell Pipelines weiterverarbeiten. So passt Peekaboo gut in CI CD Pipelines.
Code:
# Vollbild Capture mit Retina Scaling
peekaboo image --mode screen --retina --path ~/Desktop/screen.png
# Per Label klicken: capture, resolve und click in einem Schritt
peekaboo see --app Safari --json | jq -r '.data.snapshot_id' | read SNAPSHOT
peekaboo click --on "Reload this page" --snapshot "$SNAPSHOT"
# Natuerlichsprachlicher Agent Run
peekaboo agent "Open Notes and create a TODO list with three items"
Multi Provider KI: lokal oder Cloud
Peekaboo bindet sich nicht an einen einzelnen KI Anbieter. Der Agent spricht mit Modellen von OpenAI bis zur aktuellen GPT 6 Generation, mit Claude von Anthropic und mit Google Gemini. Über eigene Provider URLs lassen sich auch lokale Modelle anbinden, etwa über Ollama. Für DSGVO ist das wichtig: Wer kritische macOS Automation betreibt, will das Modell oft lokal halten.
Die Konfiguration läuft über Umgebungsvariablen. Ein typisches Setup in der MCP Client Konfiguration sieht so aus:
Code:
{
"mcpServers": {
"peekaboo": {
"command": "npx",
"args": ["-y", "@steipete/peekaboo"],
"env": {
"PEEKABOO_AI_PROVIDERS": "openai/gpt-5.5,anthropic/claude-opus-4-7"
}
}
}
}
Für sensible Szenarien setzt ihr den Provider auf ein lokales Modell wie Qwen Coder. Der Code Pfad bleibt identisch. So verlassen keine Screenshots euer Netz, ein wichtiger Punkt für alle Teams, die keine Pixel an Cloud APIs schicken dürfen.
Peekaboo im openclaw Ökosystem
Peekaboo steht nicht allein. Es gehört zu einer Familie von Werkzeugen in Peter Steinbergers openclaw GitHub Organisation, die zusammen einen KI Agent Stack für macOS bilden. Wer eines davon nutzt, profitiert oft auch von den anderen.
Die wichtigsten Beziehungen:
- OpenClaw hostet den lokalen PeekabooBridge Socket und verwaltet macOS Permissions zentral
- Clawdbot und das Mac Mini Setup liefern einen Always on Assistenten, der Peekaboo für UI Aktionen nutzt
- Moltbook sitzt als Social Layer darauf, in dem Bot Personas miteinander sprechen
Dieser Stack ist deutlich offener als zentralisierte Anbieterlösungen. Für Teams, die ihre Automatisierung souverän halten wollen, ist das ein echtes Argument. Wir bewerten solche Architekturen im Rahmen unseres Vibe Coding Consulting.
Setup und Permissions
Die Installation läuft je nach Surface unterschiedlich. Jede Variante braucht aber zwei Permissions, ohne die macOS Automation nicht funktioniert: Screen Recording für Captures und Accessibility für zuverlässige Klicks und Eingaben. Beide aktiviert ihr in den Systemeinstellungen unter Datenschutz und Sicherheit.
Code:
# Installation via Homebrew
brew install steipete/tap/peekaboo
# Version pruefen
peekaboo --version
# Permissions Status pruefen
peekaboo permissions status
# Update
brew upgrade steipete/tap/peekaboo
Der MCP Server startet ohne globale Installation per npx aus jedem MCP Client. Wer Peekaboo in Claude Code, Codex oder Cursor einbinden will, trägt die MCP Server Konfiguration ein und gibt die Berechtigungen für das aufrufende Terminal frei. Wie ihr eigene Claude Code Plugins damit kombiniert, steht im Glossar.
Stand Herbst 2026 ist Peekaboo in Version 4 aktuell. Sie setzt macOS 15 oder neuer voraus, für eigene Builds Swift 6.2 und für das npm Paket Node.js 22. Für Production Setups empfehlen wir die signierte Homebrew Variante. Eigene Builds lohnen sich erst, wenn ihr aktiv am Code mitarbeitet.
Wann Peekaboo passt und wann nicht
Peekaboo ist ein scharfes Werkzeug für einen klaren Bereich. Es spielt seine Stärken dort aus, wo ein KI Agent eine echte Desktop App bedienen muss: Safari, eine native App, ein Installer oder ein Tool ohne API. Für reine Web Aufgaben sind Browser Tools oft die schlankere Wahl.
Gute Use Cases für Peekaboo:
- Smoke Tests von Desktop Apps
- wiederkehrende macOS Konfiguration
- KI gestütztes Bug Reporting mit Screenshot Annotation
- UI Workflows ohne API Pendant
- Choreografie über mehrere Apps in CI Pipelines
- Demos und Schulungen mit reproduzierbaren Sessions
Weniger geeignet: Automation über mehrere Plattformen, denn Peekaboo ist macOS only. Für Windows und Linux gibt es nur Community Ports wie PeekabooWin und PeekabooX. Auch Headless Server Workflows ohne UI passen nicht. Für Web Tests ist Cypress das bessere Werkzeug. Und bei sicherheitskritischen Aktionen, die nur einmal laufen dürfen, ist der Agent Loop riskant, weil ein Modellfehler echte Klicks auslöst.
Unsere Einschätzung: Peekaboo ist gut für Teams, die schon Erfahrung mit KI Agents haben und sauber zwischen Test, Staging und Production trennen. Wer von Vibe Coding in Richtung Production geht, braucht klare Guardrails für Agentic Coding. Läuft ein Setup aus dem Ruder, hilft Vibe Coding Projekt Rescue.
Peekaboo im Vergleich zu anderen Automation Tools
macOS Automation ist kein Neuland. AppleScript gibt es seit den 1990ern, für Web E2E Tests ist Cypress etabliert. Peekaboo unterscheidet sich an drei Punkten: Plattform Tiefe mit echten nativen Apps statt nur Browser, KI Integration mit Agent Loop in natürlicher Sprache und MCP Standard, über den jedes Tool per offenem Protokoll erreichbar ist.
Die Tabelle ordnet Peekaboo gegenüber wichtigen Alternativen ein. Welches Tool passt, hängt am Use Case: Für Web Tests bleibt Cypress die bessere Wahl, inzwischen auch mit KI Agenten. Für klassische Skripte ohne KI reicht AppleScript.
Mac automation that sees the screen and does the clicks.
OpenClaw – Der virale autonome KI-Agent
OpenClaw 2.0 alias Version 2026.8.1: vereinfachtes Setup, neue Browser App, geteilte Sessions und strengere Freigaben. Der autonome KI Agent erklärt.
Mehr erfahrenNCA Einordnung: Peekaboo in der Praxis
macOS Automation wird spannend für Teams, die Claude Code bereits einsetzen und den nächsten Schritt suchen: nicht mehr nur Code erzeugen, sondern echte Software fahren lassen. Peekaboo ist hier der seriöseste Open Source Kandidat, weil es sauber dokumentiert ist, eine klare Architektur hat und über MCP standardkonform erreichbar ist.
Was uns gefällt: die Trennung zwischen Action first über AX und synthetischen Eingaben als Fallback, die strukturierten JSON Ausgaben für Pipelines und das durchdachte Permission Modell mit Bridge Validierung. Was Aufmerksamkeit braucht: Ein Agent Loop, der echte Klicks auslöst, ist immer riskanter als ein reiner Code Agent. Falsche Modellentscheidungen können echten Schaden anrichten: Dateien werden verschoben, Einstellungen geändert, Mails verschickt.
Wir helfen Teams, Peekaboo realistisch zu bewerten und einzubauen. Dazu gehören Architektur Workshops zur Frage welcher Agent macht was, sichere CI CD Anbindung mit Sandbox Stages, Mentoring zu Vibe Coding Best Practices und die Anbindung an euren Symfony oder PHP Stack. Wer mehrere Agent Tools koordiniert, braucht außerdem eine MCP Middleware für Unternehmensdaten.
NCA Vibe Coding Consulting
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Häufige Fragen zu Peekaboo
Die wichtigsten Fragen aus Beratungsterminen rund um Peekaboo, macOS Automation und KI Agent Workflows — kompakt beantwortet für Entwickler und Tech Leads.
Was ist Peekaboo 2026?
Peekaboo ist ein Open Source macOS Automation Toolkit für KI Agenten unter MIT Lizenz. Es liefert pixelgenaue Screen Captures, liest den Accessibility Tree und steuert die GUI über Klicks, Tastatureingaben, Menüs und Fenster. Über einen MCP Server stehen alle Tools auch KI Clients wie Codex, Claude Code und Cursor zur Verfügung.
Wer steckt hinter Peekaboo 2026?
Peekaboo wird von Peter Steinberger (steipete) entwickelt und gehört zur openclaw Organisation auf GitHub. Damit ist es in derselben Familie wie OpenClaw, Clawdbot und Moltbook. Das Projekt ist Open Source und hat inzwischen über 5000 Sterne auf GitHub. Releases erscheinen in kurzen Abständen, im September 2026 gleich mehrere.
Welche Voraussetzungen hat Peekaboo 2026?
Peekaboo 4 läuft auf macOS 15 oder neuer und braucht aktivierte Permissions für Screen Recording und Accessibility. Für eigene Builds ist Swift 6.2 nötig, für das npm Paket Node.js 22. Der empfohlene Installationsweg ist die signierte Homebrew Variante, die Mac App gibt es als signierte DMG.
Wie unterscheidet sich Peekaboo von Cypress 2026?
Peekaboo automatisiert die gesamte macOS Desktop Umgebung inklusive nativer Apps. Cypress ist ein Werkzeug für Tests im Browser, plattformübergreifend und mit eigener Test Infrastruktur. Für UI Tests im Web bleibt Cypress die bessere Wahl. Für macOS Workflows ohne Browser ist Peekaboo das passendere Werkzeug.
Welche KI Provider unterstützt Peekaboo 2026?
Peekaboo arbeitet mit Modellen von OpenAI bis zur GPT 6 Generation, mit Claude von Anthropic und mit Google Gemini. Über eigene Provider URLs lassen sich auch lokale Modelle anbinden. Die Auswahl läuft über die Umgebungsvariable PEEKABOO_AI_PROVIDERS und lässt sich pro Session wechseln.
Funktioniert Peekaboo auch unter Windows oder Linux?
Nein. Peekaboo nutzt native macOS APIs wie CGWindowList und das Accessibility Framework und ist daher macOS only. Für Windows gibt es mit PeekabooWin, für Linux mit PeekabooX jeweils einen Community Port. Diese Ports sind eigenständige Projekte und nicht Teil des offiziellen Releases.
Wie integriert Peekaboo sich mit Claude Code?
Über MCP. Ihr startet den Peekaboo MCP Server per npx und tragt die Konfiguration in Claude Code ein. Danach stehen alle Peekaboo Tools wie see, click, type, scroll, menu und window als MCP Tools bereit. Das Terminal, aus dem Claude Code läuft, braucht die Permissions für Screen Recording und Accessibility.
Welche Risiken bringt Peekaboo mit?
Ein Agent Loop löst echte Klicks und Eingaben aus. Falsche Modellentscheidungen können Dateien verschieben, Einstellungen ändern oder Mails versenden. Wir empfehlen eine klare Trennung zwischen Test und Production sowie Sandbox Stages für sicherheitskritische Automation. Eine saubere Architektur mit Guardrails senkt das Risiko deutlich.
Kann ich Peekaboo lokal ohne Cloud KI nutzen?
Ja. Über eigene Provider URLs bindet ihr ein lokales Modell an, etwa über Ollama mit Qwen Coder. Der Code Pfad bleibt identisch zum Cloud Setup. Das ist besonders wichtig bei sensiblen Daten, wenn keine Screenshots an externe APIs gehen sollen. Die Antwortqualität hängt dann stark vom gewählten lokalen Modell ab.
Wie hängt Peekaboo mit OpenClaw zusammen?
OpenClaw kann den lokalen PeekabooBridge Socket hosten und macOS Permissions zentral verwalten. So nutzt die Peekaboo CLI die Berechtigungen der OpenClaw App. Beide Projekte stammen von Peter Steinberger und der openclaw Organisation. Sie ergänzen sich, funktionieren aber auch unabhängig voneinander.
Wie kann mein Team Peekaboo produktiv einsetzen?
Am besten schrittweise: erst Experimente mit der CLI im Terminal, dann MCP Integration in einem KI Editor, dann reproduzierbare Sessions in CI Pipelines. NCA begleitet diesen Weg mit Vibe Coding Mentoring und Architekturberatung. Wichtig sind klare Guardrails, sauberes Logging und getrennte Umgebungen für Test und Production.
Ist Peekaboo für Produktionseinsätze geeignet?
Peekaboo ist signiert, notarisiert und stabil genug für viele Use Cases. Ob es zu eurem Projekt passt, hängt vom Risikoprofil ab. Für unkritische Automation und Testing ist es ein robuster Baustein. Bei sicherheitskritischen Workflows raten wir zu einem Architektur Review vor dem Rollout.
Wo finde ich die offizielle Peekaboo Dokumentation?
Die offizielle Dokumentation liegt unter peekaboo.sh mit Quickstart, Permissions, CLI Referenz und MCP Setup. Der Quellcode steht auf GitHub in der openclaw Organisation, inklusive Issues, Release Notes und einer englischsprachigen Community. Neue Versionen erscheinen dort regelmäßig.
Agent to Agent ist der offene Standard für die Kommunikation zwischen KI Agenten unterschiedlicher Frameworks. Agent Cards, Tasks, Abgrenzung zu MCP und die Frage, wann sich der Aufwand lohnt.
Wie du mit Open Source Tools wie PostHog und GrowthBook plus KI Coding Agents professionelles A/B Testing selbst umsetzt, abgesichert mit Cypress.
SAP stellt ABAP Entwicklung per Model Context Protocol bereit: Funktionen, Voraussetzungen, Grenzen und die NCA Einordnung
Die Dokumente konkurrieren nicht, sie greifen ineinander. Wie PRD, ADR, Spec, BDD und AGENTS.md zusammen den Kontext bilden, aus dem ein KI Agent verlässlich arbeitet.
Der iterative Loop ist die Kernarchitektur jedes autonomen KI Agenten. Wie er funktioniert, wo er durchdreht und welche Safeguards Production braucht.
Agent Plugins ist der herstellerneutrale Paketstandard für Agent Skills und MCP Server. Ein Ordner, eine plugin.json, viele Clients. Aufbau, Grenzen und Einordnung für Teams.
