Vom Prompt Engineering zum Pointer Engineering: Deepmind macht den Mauszeiger zur KI-Schnittstelle Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner 13. Mai 2026 Vom Prompt Engineering zum Pointer Engineering: Deepmind erfindet den Mauszeiger neu. "Ein typisches KI-Tool lebt in seinem eigenen Fenster, also müssen Nutzer ihre Welt hineinziehen. Wir wollen das Gegenteil", schreiben die Deepmind-Forscher Adrien Baranes und Rob Marchant. Statt präziser Prompts soll ein Gemini-gestützter Pointer den visuellen und semantischen Kontext rund um den Cursor erfassen. Nutzer könnten dann mit Kurzbefehlen wie "Fix this" oder "Move that here" arbeiten, ergänzt durch Sprache und Gesten. Aus Pixeln werden laut Deepmind "strukturierte Entitäten" wie Orte, Daten oder Objekte. Eine handgeschriebene Notiz wird zur interaktiven To-do-Liste, ein pausiertes Videobild zum Buchungslink. Die Prinzipien fließen bereits in Gemini in Chrome ein, wo sich Bereiche einer Webseite markieren und direkt befragen lassen. Auf dem kommenden Googlebook erscheint die Funktion als "Magic Pointer". Anzeige Prompt- und Context-Engineering ersetzt das nicht, denn komplexere Aufgaben brauchen weiterhin präzise Beschreibungen und den passenden Kontext. Deepminds Ansatz vereinfacht eher kurze, chatartige Anwendungen im Alltag, indem er den Aufwand zur Kontextübergabe an das Modell reduziert. Anzeige DEC_D_Incontent-1 KI-News ohne Hype – von Menschen kuratiert Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre. Jetzt abonnieren Quelle: Google Deepmind