NCA Social Media
Erstellt:
Aktualisiert:
Autor:
Roland Golla
Grüner Schreibtisch mit Schriftzug Agent Desktop, Roboterhand bedient Apps

Was ist Agent Desktop?

Agent Desktop ist ein Open Source Kommandozeilen Tool, mit dem KI Agenten native Desktop Apps sehen und bedienen. Es liest den Accessibility Tree des Betriebssystems und gibt jedes klickbare Element als JSON mit einer festen Referenz zurück.
Das Projekt heißt im Code agent-desktop. Es ist in Rust geschrieben, läuft auf macOS, Windows und Linux und steht unter der Apache 2.0 Lizenz. Gestartet hat es der Entwickler Lahfir als Soloprojekt, inzwischen liegt es bei Vercel Labs.
Der Ansatz ist einfach. Der Agent macht einen Snapshot der App, wählt ein Element über seine Referenz, klickt oder tippt und prüft danach mit einem neuen Snapshot, ob es geklappt hat. Es gibt keine Screenshots und keine geratenen Pixel Koordinaten. Ein Modell steckt nicht in Agent Desktop, die Logik bleibt in deinem Agent.
Inhalt
NCA KI Workshop für Developer

Agentic Coding im Team, nicht nur im Glossar

Ein Tag inhouse mit Benjamin Klein für Developer, Tester und Admins. Context Engineering, Harness, ADRs und zwei Hands on Blöcke mit KI Agenten in eurem Setup.

  1. 1
    Kostenloses Vorgespräch
    Stand, Rollen und Ziele klären
  2. 2
    Workshoptag bei euch
    Praxis am Vormittag, Hands on danach
  3. 3
    Praxistag optional
    Agenten im eigenen Projekt
Benjamin Klein
Benjamin Klein
Senior Consultant
Zum Workshop für Developer arrow_forward

Agent Desktop mit NCA richtig einordnen

Bei Never Code Alone arbeiten KI Agenten jeden Tag in unseren Projekten. Wir betreiben eigene MCP Server für Sulu und n8n und testen seit vielen Jahren Oberflächen mit Cypress. Der Accessibility Tree ist für uns kein neues Thema, wir prüfen ihn in jedem Barrierefreiheit Audit. Genau auf diesem Baum baut Agent Desktop auf.
Wir helfen Teams, Tools wie Agent Desktop sauber einzuordnen. Dazu gehören das Vibe Coding Consulting, klare Guardrails für agentisches Coding, die NCA MCP Middleware für Unternehmensdaten und unsere Regeln dazu, was wir KI Agenten nicht erlauben. Wie der Accessibility Tree im Browser aussieht, zeigt unser Artikel zu den Firefox Accessibility Testing Tools.

So funktioniert der Loop aus Snapshot, Aktion und Prüfung

Viele Computer Use Agenten arbeiten mit Bildern. Sie machen einen Screenshot, das Modell schätzt eine Koordinate, dann folgt ein Klick. Das bricht leicht, wenn sich ein Theme, die Skalierung oder das Layout ändert.
Agent Desktop fragt stattdessen das Betriebssystem. Jede App beschreibt ihre Oberfläche für Screenreader im Accessibility Tree, mit Rolle, Name, Zustand und möglichen Aktionen. Agent Desktop macht daraus einen Snapshot und vergibt für jedes Element eine Referenz.
Code:
          

agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i

Die erste Zeile holt alle interaktiven Elemente des Finders. Die zweite klickt auf ein Element aus genau diesem Snapshot. Die dritte prüft das Ergebnis. Referenzen gehören immer zu ihrem Snapshot. Ändert sich die Oberfläche, meldet das Tool einen veralteten Verweis und der Agent holt sich einen frischen Snapshot. So klickt der Agent nie ins Leere.
Standardmäßig läuft das ohne sichtbare Maus. Die Aktionen gehen über die Accessibility API, der Cursor bleibt stehen und der Fokus wandert nicht. Wer echte Eingaben braucht, schaltet sie mit --headed frei.

Die wichtigsten Funktionen von Agent Desktop

Agent Desktop bringt über 60 Befehle mit. Sie sind in Gruppen sortiert, vom Beobachten über Klicks und Tastatur bis zu Fenstern, Benachrichtigungen und der Zwischenablage. Jeder Befehl gibt eine JSON Antwort zurück, die ein Agent direkt auswerten kann.
Bereich Was der Agent damit tut Beispiel Befehle
Beobachten Oberfläche lesen, Elemente finden, Zustand prüfen snapshot, find, get, is
Aktion auf Referenz Klicken, tippen, auswählen, scrollen click, type, select, toggle
Tastatur und Maus Shortcuts drücken, ziehen, hovern press, drag, hover
Apps und Fenster Apps starten, Fenster verschieben und anordnen launch, list-windows, resize-window
Benachrichtigungen Systemmeldungen lesen und schließen list-notifications, notification-action
Zwischenablage Text lesen, setzen und leeren clipboard-get, clipboard-set
System Rechte prüfen, Befehle bündeln, Skills laden status, permissions, batch, skills

Agent Desktop installieren und Rechte freigeben

Die Installation läuft über npm. Das Paket bringt fertige Binaries für x64 und ARM64 mit. Auf macOS und Linux geht es auch über Homebrew.
Code:
          

npm install -g agent-desktop
agent-desktop status
agent-desktop permissions --guide

status zeigt Plattform, Rechte und unterstützte Oberflächen. Auf macOS führt permissions --guide durch die Freigabe für Bedienungshilfen. Ohne diese Freigabe darf kein Tool den Accessibility Tree lesen.
Die Plattformen nutzen jeweils ihre eigene Schnittstelle:
  • macOS ab Version 13 über die AX API
  • Windows ab 10 Version 1809 über UI Automation
  • Linux ab Ubuntu 24.04 über AT SPI, mit X11 oder Wayland
Für den eigenen Agent liefert das Binary passende Anleitungen gleich mit. agent-desktop skills get desktop erklärt den Loop, Referenzen und Regeln für Wiederholungen. Diese Skills passen immer zur installierten Version.

Agent Desktop als MCP Server in OpenCode nutzen

Seit Version 1.2 startet agent-desktop mcp einen MCP Server über stdio. Jeder Befehl wird zu einem Tool, etwa desktop_snapshot oder desktop_click. Damit funktioniert Agent Desktop in jedem Client, der das Model Context Protocol spricht, auch in OpenCode mit Open Weight Modellen.
Code:
          

{
  "mcpServers": {
    "agent-desktop": {
      "command": "agent-desktop",
      "args": ["mcp"]
    }
  }
}

Globale Flags wie --session oder --headed gelten dann für jeden Aufruf. Wer kein MCP will, schreibt zwei Zeilen in die AGENTS.md und lässt den Agent das CLI direkt aufrufen. Für Programme gibt es außerdem eine C Bibliothek, die ohne neuen Prozess pro Befehl auskommt.

Große Apps ohne Token Flut

Der Accessibility Tree einer echten App ist riesig. Laut Maintainer kommt ein kompletter Dump von Slack leicht auf über 50.000 Tokens. Das sprengt jedes Kontextfenster und kostet Geld.
Agent Desktop löst das mit einer Skeleton Ansicht. Der Agent holt zuerst nur das Gerüst der App und geht danach gezielt in einen Bereich.
Code:
          

agent-desktop snapshot --skeleton --app Slack -i --compact
agent-desktop snapshot --root @s8f3k2p9:e3 -i --compact

Nach einer Aktion liest der Agent nur diesen Bereich neu. Der Maintainer nennt für Electron Apps wie Slack, VS Code und Notion eine Ersparnis von etwa 78 bis 96 Prozent gegenüber kompletten Dumps. Das passt zu einem Thema, das wir auch bei Headroom und der Context Compression beschreiben: Weniger Kontext macht Agenten oft besser.

Agent Desktop, Peekaboo und Claude Cowork im Vergleich

Computer Use ist ein volles Feld. Die Tools unterscheiden sich vor allem darin, wie sie die Oberfläche lesen und wer den Agent Loop steuert. Agent Desktop ist ein reines Werkzeug ohne eigenes Modell. Peekaboo bringt einen eigenen Agent mit, Claude Cowork ist ein fertiges Produkt mit Chat Oberfläche.
Tool Plattform und Zugriff Stärke und Steuerung
Agent Desktop macOS, Windows, Linux, CLI plus MCP plus C Bibliothek Accessibility Tree als JSON, feste Referenzen, kein eigenes Modell
Peekaboo Nur macOS, CLI plus MCP plus App Accessibility Tree plus Bild, eigener Agent Loop mit mehreren Providern
agent-browser Browser, CLI von Vercel Labs Vorbild für Agent Desktop, nur für Webseiten
Claude Cowork Desktop App von Anthropic Fertiger Agent mit Chat, an Anthropic Modelle gebunden
Screenshot Agenten Je nach Anbieter Klicks über geschätzte Pixel, anfällig bei Layout Änderungen

Grenzen und Risiken von Agent Desktop

Agent Desktop ist nur so gut wie der Accessibility Tree einer App. Fehlen dort Rollen oder Namen, sieht auch der Agent nichts. Aus der Community kommen Hinweise auf Lücken bei gestapelten Ansichten und bei Inhalten, die erst beim Scrollen nachladen.
Wichtiger ist der Datenschutz auf dem eigenen Rechner. Snapshots, Zwischenablage, Screenshots und Debug Dateien können private Inhalte vom Desktop enthalten. Das Projekt selbst rät, diese Daten aus öffentlichen Logs herauszuhalten. Wer Agent Desktop mit einem Cloud Modell koppelt, schickt diese Inhalte an den Anbieter.
Dazu kommen drei Punkte für Teams:
  • Rechte: Die Freigabe für Bedienungshilfen gibt dem Terminal weitreichenden Zugriff auf alle Apps.
  • Kontrolle: Ein Agent mit Klickrechten braucht klare Grenzen und eine getrennte Testumgebung, am besten mit Testdaten statt echten Kundendaten.
  • Anbieter: Vercel ist ein US Unternehmen. Der Code ist Open Source und läuft lokal, die Roadmap bestimmt aber Vercel Labs.
Für Web Oberflächen bleibt ein klassisches E2E Framework die bessere Wahl. Dort testen wir mit Cypress, weil Tests reproduzierbar im CI/CD laufen müssen.

Pixel based desktop control feels like a leaky abstraction.

Lahfir, Maintainer von agent-desktop – Show HN auf Hacker News

Agent Desktop im NCA Kontext

Wir nutzen Agent Desktop nicht produktiv. Für Teams ist es aber ein spannender Baustein. Es zeigt, wohin sich Computer Use bewegt: weg vom Raten auf Pixeln, hin zu strukturierten Daten, die ein Agent prüfen kann. Das ist dieselbe Idee wie bei guten Tests. Erst ein klares Signal, dann die Aktion.
Agent Desktop passt in eine Reihe von Open Source Projekten, die KI Agenten mehr Struktur geben. Graphify macht aus einer Codebase einen Knowledge Graph, OpenWiki hält Wissen als Markdown aktuell und REA nutzt KI Agenten und MCP für Reverse Engineering.
Wer Agenten länger laufen lassen will, findet im Vergleich von Paperclip und Hermes Agent zwei Plattformen dafür. Agent Desktop wäre dort die Hand, die Desktop Apps bedient. Der Kopf bleibt der Agent, und die Grenzen setzt ihr als Team.
CYPRESS.IO Ambassador und IT Consultant für QA Engenieering und Qualität in PHP Projekten.
NCA Vibe Coding Consulting

Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.

Häufige Fragen zu Agent Desktop

Die wichtigsten Antworten zu Funktionsweise, Installation, MCP Anbindung und Datenschutz von Agent Desktop.
Was ist Agent Desktop 2026?

Agent Desktop ist ein Open Source CLI, mit dem KI Agenten native Desktop Apps bedienen. Es liest den Accessibility Tree von macOS, Windows oder Linux und gibt jedes Element als JSON mit fester Referenz zurück. Der Agent klickt oder tippt auf diese Referenz und prüft danach mit einem neuen Snapshot, ob die Aktion geklappt hat.

Wer steht 2026 hinter Agent Desktop?

Agent Desktop wurde vom Entwickler Lahfir gestartet und liegt inzwischen bei Vercel Labs auf GitHub. Das Projekt nennt agent-browser von Vercel Labs als Vorbild. Der Code steht unter der Apache 2.0 Lizenz, ist in Rust geschrieben und kann frei genutzt, angepasst und in eigene Pipelines eingebaut werden.

Welche Systeme unterstützt Agent Desktop 2026?

Agent Desktop läuft auf macOS ab Version 13, auf Windows 10 ab Version 1809 und auf Linux ab Ubuntu 24.04. Jede Plattform nutzt ihre eigene Schnittstelle: AX API auf macOS, UI Automation auf Windows und AT SPI auf Linux. Unterstützt werden Intel, Apple Silicon, x64 und ARM64.

Hat Agent Desktop 2026 einen MCP Server?

Ja, seit Version 1.2 startet der Befehl agent-desktop mcp einen MCP Server über stdio. Jeder Befehl wird dabei zu einem eigenen Tool wie desktop_snapshot oder desktop_click. So lässt sich Agent Desktop in jeden MCP Client einbinden, etwa in OpenCode, ohne eigenen Code für die Anbindung zu schreiben.

Was kostet Agent Desktop 2026?

Agent Desktop ist kostenlos. Das Projekt ist Open Source unter Apache 2.0 und wird über npm, Homebrew oder GitHub Releases verteilt. Kosten entstehen nur durch das KI Modell, das den Agent steuert. Weil Agent Desktop strukturierte Daten statt Bildern liefert, braucht der Agent in vielen Fällen weniger Tokens als bei Screenshot Ansätzen.

Wie installiere ich Agent Desktop?

Am schnellsten mit npm install -g agent-desktop. Das Paket bringt fertige Binaries für x64 und ARM64 mit. Auf macOS und Linux geht auch brew install agent-desktop. Danach zeigt agent-desktop status die Plattform und die Rechte. Auf macOS führt agent-desktop permissions --guide durch die Freigabe für Bedienungshilfen.

Braucht Agent Desktop Screenshots?

Nein, Agent Desktop arbeitet ohne Screenshots und ohne Pixel Koordinaten. Es liest die Struktur der App aus dem Accessibility Tree, also Rollen, Namen, Zustände und Aktionen. Ein Screenshot Befehl ist zwar vorhanden, der normale Loop aus Snapshot, Aktion und Prüfung kommt aber komplett ohne Bilder und ohne Vision Modell aus.

Was ist der Accessibility Tree?

Der Accessibility Tree ist die Struktur, mit der eine App ihre Oberfläche für Screenreader beschreibt. Jedes Element hat dort eine Rolle, einen Namen, einen Zustand und mögliche Aktionen. Das Betriebssystem stellt diesen Baum über eine Schnittstelle bereit. Agent Desktop nutzt genau diese Daten, damit ein KI Agent die App versteht.

Wie spart Agent Desktop Tokens bei großen Apps?

Agent Desktop nutzt eine Skeleton Ansicht. Der Agent liest zuerst nur das Gerüst einer App und geht dann gezielt in einen Bereich. Nach einer Aktion wird nur dieser Bereich neu gelesen. Der Maintainer nennt für Electron Apps wie Slack, VS Code und Notion etwa 78 bis 96 Prozent weniger Tokens als bei kompletten Dumps.

Ist Agent Desktop sicher für Firmenrechner?

Agent Desktop läuft lokal, braucht aber weitreichende Rechte für Bedienungshilfen. Snapshots und Zwischenablage können private Inhalte enthalten. Wer ein Cloud Modell nutzt, schickt diese Daten an den Anbieter. Sinnvoll sind eine getrennte Testumgebung, Testdaten statt echter Kundendaten und klare Regeln, welche Apps der Agent bedienen darf.

Was ist der Unterschied zwischen Agent Desktop und Peekaboo?

Agent Desktop ist ein reines Werkzeug ohne eigenes Modell und läuft auf macOS, Windows und Linux. Peekaboo ist auf macOS beschränkt, kombiniert Accessibility Tree und Bilder und bringt einen eigenen Agent Loop mit mehreren Providern mit. Agent Desktop überlässt die Logik vollständig dem Agent, den du selbst wählst.

Nutzt NCA Agent Desktop produktiv?

Nein, NCA nutzt Agent Desktop nicht produktiv. Wir ordnen das Tool editorial ein und helfen Teams, Computer Use sauber zu bewerten. Für Web Oberflächen setzen wir auf Cypress, weil Tests dort reproduzierbar im CI/CD laufen müssen. Für KI Agenten gelten bei uns feste Guardrails, bevor sie auf echte Systeme zugreifen.