GETAPI/Документация/Управление компьютером

Управление компьютером

Tool computer_use превращает модель в агента, который видит снимок экрана и решает, куда нажать, что напечатать, как прокрутить. Сама модель не запускает ничего на вашей машине — она только выдаёт инструкции, которые исполняет ваш клиент.

Цикл работы

Клиент делает скриншот экрана и шлёт его в запрос вместе с задачей.
Модель отвечает шагом: click(x, y), type(text), scroll, key и т. д.
Клиент исполняет шаг (например, через pyautogui или Playwright) и шлёт новый скриншот.
Цикл продолжается, пока модель не сообщит, что задача выполнена.

Минимальный пример

curl https://api.getapi.ru/openai/v1/responses \
  -H "Authorization: Bearer $GETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "computer-use-preview",
    "input": [
      {
        "role": "user",
        "content": [
          {"type": "input_text", "text": "Найди слово '\''GETAPI'\'' на странице и выдели его"},
          {"type": "input_image", "image_url": "data:image/png;base64,..."}
        ]
      }
    ],
    "tools": [{
      "type": "computer_use_preview",
      "display_width": 1920,
      "display_height": 1080,
      "environment": "browser"
    }]
  }'

Безопасность

Не давайте модели доступ к продакшен-системам без человека-оператора.
Изолируйте исполнение в отдельной VM или контейнере.
Логируйте каждое действие — это помогает и отлаживать, и проводить аудит.

Computer Use — мощный инструмент с серьёзными рисками. Думайте о нём как о джуниоре, которого вы посадили за чужой компьютер: он будет стараться, но в ответственности — вы.

← Веб-поиск

Embeddings →