Peekaboo automatisiert macOS für KI Agenten. CLI plus MCP Server, Screen Capture, Click und Type, aus dem openclaw Ökosystem von Peter Steinberger.
Mehr erfahren
agent-desktop. Es ist in Rust geschrieben, läuft auf macOS, Windows und Linux und steht unter der Apache 2.0 Lizenz. Gestartet hat es der Entwickler Lahfir als Soloprojekt, inzwischen liegt es bei Vercel Labs.
Ein Tag inhouse mit Benjamin Klein für Developer, Tester und Admins. Context Engineering, Harness, ADRs und zwei Hands on Blöcke mit KI Agenten in eurem Setup.
agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i
--headed frei.
npm install -g agent-desktop
agent-desktop status
agent-desktop permissions --guide
status zeigt Plattform, Rechte und unterstützte Oberflächen. Auf macOS führt permissions --guide durch die Freigabe für Bedienungshilfen. Ohne diese Freigabe darf kein Tool den Accessibility Tree lesen.
agent-desktop skills get desktop erklärt den Loop, Referenzen und Regeln für Wiederholungen. Diese Skills passen immer zur installierten Version.
agent-desktop mcp einen MCP Server über stdio. Jeder Befehl wird zu einem Tool, etwa desktop_snapshot oder desktop_click. Damit funktioniert Agent Desktop in jedem Client, der das Model Context Protocol spricht, auch in OpenCode mit Open Weight Modellen.
{
"mcpServers": {
"agent-desktop": {
"command": "agent-desktop",
"args": ["mcp"]
}
}
}
--session oder --headed gelten dann für jeden Aufruf. Wer kein MCP will, schreibt zwei Zeilen in die AGENTS.md und lässt den Agent das CLI direkt aufrufen. Für Programme gibt es außerdem eine C Bibliothek, die ohne neuen Prozess pro Befehl auskommt.
agent-desktop snapshot --skeleton --app Slack -i --compact
agent-desktop snapshot --root @s8f3k2p9:e3 -i --compact
Pixel based desktop control feels like a leaky abstraction.
Peekaboo automatisiert macOS für KI Agenten. CLI plus MCP Server, Screen Capture, Click und Type, aus dem openclaw Ökosystem von Peter Steinberger.
Mehr erfahren
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Agent Desktop ist ein Open Source CLI, mit dem KI Agenten native Desktop Apps bedienen. Es liest den Accessibility Tree von macOS, Windows oder Linux und gibt jedes Element als JSON mit fester Referenz zurück. Der Agent klickt oder tippt auf diese Referenz und prüft danach mit einem neuen Snapshot, ob die Aktion geklappt hat.
Agent Desktop wurde vom Entwickler Lahfir gestartet und liegt inzwischen bei Vercel Labs auf GitHub. Das Projekt nennt agent-browser von Vercel Labs als Vorbild. Der Code steht unter der Apache 2.0 Lizenz, ist in Rust geschrieben und kann frei genutzt, angepasst und in eigene Pipelines eingebaut werden.
Agent Desktop läuft auf macOS ab Version 13, auf Windows 10 ab Version 1809 und auf Linux ab Ubuntu 24.04. Jede Plattform nutzt ihre eigene Schnittstelle: AX API auf macOS, UI Automation auf Windows und AT SPI auf Linux. Unterstützt werden Intel, Apple Silicon, x64 und ARM64.
Ja, seit Version 1.2 startet der Befehl agent-desktop mcp einen MCP Server über stdio. Jeder Befehl wird dabei zu einem eigenen Tool wie desktop_snapshot oder desktop_click. So lässt sich Agent Desktop in jeden MCP Client einbinden, etwa in OpenCode, ohne eigenen Code für die Anbindung zu schreiben.
Agent Desktop ist kostenlos. Das Projekt ist Open Source unter Apache 2.0 und wird über npm, Homebrew oder GitHub Releases verteilt. Kosten entstehen nur durch das KI Modell, das den Agent steuert. Weil Agent Desktop strukturierte Daten statt Bildern liefert, braucht der Agent in vielen Fällen weniger Tokens als bei Screenshot Ansätzen.
Am schnellsten mit npm install -g agent-desktop. Das Paket bringt fertige Binaries für x64 und ARM64 mit. Auf macOS und Linux geht auch brew install agent-desktop. Danach zeigt agent-desktop status die Plattform und die Rechte. Auf macOS führt agent-desktop permissions --guide durch die Freigabe für Bedienungshilfen.
Nein, Agent Desktop arbeitet ohne Screenshots und ohne Pixel Koordinaten. Es liest die Struktur der App aus dem Accessibility Tree, also Rollen, Namen, Zustände und Aktionen. Ein Screenshot Befehl ist zwar vorhanden, der normale Loop aus Snapshot, Aktion und Prüfung kommt aber komplett ohne Bilder und ohne Vision Modell aus.
Der Accessibility Tree ist die Struktur, mit der eine App ihre Oberfläche für Screenreader beschreibt. Jedes Element hat dort eine Rolle, einen Namen, einen Zustand und mögliche Aktionen. Das Betriebssystem stellt diesen Baum über eine Schnittstelle bereit. Agent Desktop nutzt genau diese Daten, damit ein KI Agent die App versteht.
Agent Desktop nutzt eine Skeleton Ansicht. Der Agent liest zuerst nur das Gerüst einer App und geht dann gezielt in einen Bereich. Nach einer Aktion wird nur dieser Bereich neu gelesen. Der Maintainer nennt für Electron Apps wie Slack, VS Code und Notion etwa 78 bis 96 Prozent weniger Tokens als bei kompletten Dumps.
Agent Desktop läuft lokal, braucht aber weitreichende Rechte für Bedienungshilfen. Snapshots und Zwischenablage können private Inhalte enthalten. Wer ein Cloud Modell nutzt, schickt diese Daten an den Anbieter. Sinnvoll sind eine getrennte Testumgebung, Testdaten statt echter Kundendaten und klare Regeln, welche Apps der Agent bedienen darf.
Agent Desktop ist ein reines Werkzeug ohne eigenes Modell und läuft auf macOS, Windows und Linux. Peekaboo ist auf macOS beschränkt, kombiniert Accessibility Tree und Bilder und bringt einen eigenen Agent Loop mit mehreren Providern mit. Agent Desktop überlässt die Logik vollständig dem Agent, den du selbst wählst.
Nein, NCA nutzt Agent Desktop nicht produktiv. Wir ordnen das Tool editorial ein und helfen Teams, Computer Use sauber zu bewerten. Für Web Oberflächen setzen wir auf Cypress, weil Tests dort reproduzierbar im CI/CD laufen müssen. Für KI Agenten gelten bei uns feste Guardrails, bevor sie auf echte Systeme zugreifen.