Windows 365 for Agents MCPサーバー参照(プレビュー)

Important

  • これはプレビュー機能です。
  • プレビュー機能は運用環境での使用を想定しておらず、機能が制限されている可能性があります。 これらの機能には、追加使用条件 が適用され、顧客が早期にアクセスしてフィードバックを提供できるよう、公式リリースより前に使用できます。

Windows 365 for Agentsは、Windows 365クラウドPCの完全な運用制御のためのMCPサーバーです。 このMCPサーバーを使って、デスクトップ操作(マウス、キーボード、スクリーンキャプチャ、コマンド実行)、Microsoft Edgeによるブラウザ自動化、Windows UI オートメーションによるセマンティックUI検査を通じて、実際のWindows環境を駆動します。

Note

  • 既存のMicrosoft MCPサーバーバージョンを使用する接続は引き続きサポートされています。
  • 新しい接続には、デスクトップ、ブラウザ、アクセシビリティ機能にわたるツールを公開する最新のWindows 365 Agents MCPサーバーを使用してください。
  • ブラウザの自動化はMicrosoft Edge上で動作します。 Edgeは最初のブラウザツール呼び出しで自動的に起動します。 focus_browser ChromeやFirefoxを対象にすることも可能ですが、DOMレベルのブラウザツールはEdgeインスタンスでのみ動作します。

エージェントのWindows 365について詳しくは、Windows 365 for Agents documentationをご覧ください。

Overview

Server ID Tenant-level URL Display name Description
mcp_W365AServer https://agent365.svc.cloud.microsoft/
agents/tenants/{tenantId}/
servers/mcp_W365AServer
Windows 365 for Agents MCP サーバー Windows 365クラウドPCの完全な運用管理、デスクトップ操作、ブラウザの自動化、UI検査が含まれます。

Available tools

mcp_desktop_move_mouse

カーソルを画面位置に移動してください。 目的地をクリックしたい場合は mcp_desktop_click を使いましょう。 Required parameters:

  • x: 画面ピクセル単位のX座標
  • y: 画面ピクセル単位の座標

mcp_desktop_click

座標を省略する場合は、ある位置または現在のカーソル位置をクリックします。 シングルクリック、ダブルクリック、5つのマウスボタンすべてに対応しています。

Optional parameters:

  • x: 画面ピクセル単位の座標(現在の位置は省略)
  • y: 画面ピクセル単位の座標(現在の位置は省略)
  • ボタン:左、右、中央、前進、または後ろ(デフォルトは左)
  • クリックカウント:1 = シングルクリック、2 = ダブルクリック(デフォルト1)

mcp_desktop_get_cursor_position

現在のカーソル座標を返してください。 No parameters. {cursorX, cursorY} を返します。

mcp_desktop_drag_mouse

一つの位置から別の位置へ引きずる。 オブジェクトの移動、ウィンドウのサイズ変更、ピクセル単位のスクロールに便利です。 Required parameters:

  • startX: Start X 座標。
  • startY:Y座標を始めて。
  • endX:X座標を終了。
  • endY: Y 座標終了。 Optional parameters:
  • ボタン:左、右、または中央(デフォルトは左)

mcp_desktop_scroll

ノッチ単位(ピクセルではなく)で位置をスクロールします。 3つのノッチはおよそ1ページに相当します。

Required parameters:

  • x: スクロール位置 X
  • y: スクロール位置 Y

Optional parameters:

  • deltaX:水平ノッチ、正=右(デフォルト0)
  • deltaY:垂直ノッチ、正=下(デフォルト0)

Note

値は範囲[-20, 20]にクランプされます。

mcp_desktop_type_text

キーボードシミュレーションでテキストを入力してください。 キーボードショートカットは mcp_desktop_press_keysを使いましょう。 ウェブフォームフィールドには mcp_browser_typeを使いましょう。

Required parameters:

  • テキスト:テキスト入力

mcp_desktop_press_keys

同時にキーの組み合わせを押します。 修飾キー、ファンクションキー、標準キーをサポートしています。

Required parameters:

  • キー:キー名を組み合わせて押す配列(例: ["ctrl","c"]["alt","tab"]["ctrl","shift","s"])

mcp_desktop_take_screenshot

全画面またはトリミングされた領域をPNG画像(base64エンコード)としてキャプチャしてください。

Optional parameters:

  • x: トリミング領域 左端
  • y: クロップ領域 トップエッジ
  • width:クロップ領域幅
  • 高さ:作物地域の高さ

Note

4つのトリミングパラメータをすべてまとめて提供するか、4つすべて省略して全画面撮影をしても構いません。

mcp_desktop_zoom_region

画面領域をネイティブ解像度でPNG画像(base64エンコード)としてキャプチャします。 これを使って、ダウンスケールした全画面スクリーンショットで読みにくい小さなテキストや濃いUIをチェックできます。

Required parameters:

  • x: 左端 X 座標(画面ピクセル単位)
  • y:画面ピクセル単位の上端Y座標
  • width:ピクセル単位の領域幅
  • height:ピクセル単位の領域高度

Note

最大リージョンサイズは1920x1080ピクセルです。

mcp_desktop_analyze_screen

画面全体にOCRを適用してください。 No parameters. {fullText, averageConfidence, boxes[{text, confidence, x, y, width, height}], width, height} を返します。

mcp_desktop_get_screen_size

画面解像度を返してください。 No parameters. {width, height} を返します。

mcp_desktop_list_windows

見えるすべてのウィンドウをタイトル、位置、寸法とともにリストアップしてください。 No parameters. {title, processName, handle, x, y, width, height}の配列を返します。

mcp_desktop_activate_window

ファジータイトルマッチを使って前景に窓を出しましょう。

Required parameters:

  • titlePattern: 部分ウィンドウタイトル(大文字に反する部分文字列)

mcp_desktop_focus_browser

ブラウザウィンドウ(Edge、Chrome、Firefox)にフォーカスし、URLやタイトルでフィルタリングできます。

Optional parameters:

  • パターン:URLまたはタイトルのサブストリングを一致させる(ブラウザウィンドウは省略)

mcp_desktop_close_window

ぼんやりとしたタイトルマッチで優雅に窓を閉じる。 システムクリティカルなプロセスは保護されており、閉じることができません。

Required parameters:

  • タイトルパターン:部分的なウィンドウタイトル(80% マッチ閾値)。 {matchedTitle, processName, closed} を返します。

mcp_desktop_resize_window

ファジータイトルマッチを使ってウィンドウのサイズ変更、移動、最大化、最小化、復元が可能です。

Required parameters:

  • タイトル:ウィンドウタイトル・トゥ・マッチ(大文字に区別されないファジィマッチ)
  • 行動:実行する行動 — ResizeMoveMaximizeMinimize、または Restore

Optional parameters:

  • x: 左端X座標(サイズ変更または移動と組み合わせて使用)
  • y:上端のY座標(リサイズまたはムーブと組み合わせて使用)
  • width:ピクセル単位の幅(リサイズ時に使用)
  • 高さ:ピクセル単位の高さ(リサイズ時に使用)

mcp_desktop_execute_shell_command

サンドボックス環境でシェルコマンドを実行してください。 コマンドは許可リストに対して検証され、危険なパターンはブロックされます。

Required parameters:

  • コマンド:実行命令

Optional parameters:

  • cwd:ワーキングディレクトリ。 前切り(例えば C:/Users/me/project)を使いましょう。
  • タイムアウトMs:ミリ秒単位のタイムアウト(デフォルト30000、最大30000)

Note

  • 許可されているコマンド:git、npm、dotnet、python、cargo、node、pip、dir、mkdir、del、copy、move、robocopy、findstr、where、type、notepad。
  • ブロックされたパターンには、シェルメタキャラクター(|、;、&、 <、 >)、環境変数展開 (%VAR%)、インタプリタ評価フラグ(python -c または node -e)、 git config --globalnpm -g、パスプレフィックス実行ファイル、 rm -rfsudo、ディスク/システムコマンドなどが含まれます。
  • stdout stderrはそれぞれ32KBに短縮されています。 任意の計算には mcp_desktop_execute_python_code を使いましょう。 {stdout, stderr, exitCode, success, timedOut, resourceLimitsApplied} を返します。

mcp_desktop_execute_python_code

リソース制限のあるサンドボックス環境でPythonコードを実行します。 データ処理、計算、ファイルI/O、そして単純なシェルコマンドを超える計算に最適です。

Required parameters:

  • code:Pythonコード(最大262,144文字)。

Optional parameters:

  • cwd:ワーキングディレクトリ。 前方の斬撃を使いましょう。
  • タイムアウトMs:ミリ秒単位のタイムアウト(デフォルト30000、最大30000秒)。

mcp_desktop_execute_shell_commandと同じスキーマを返します。

Note

サンドボックスは512MBのメモリ制限と30秒のタイムアウトを強制します。

mcp_desktop_wait_milliseconds

アニメーションやトランジションが完了するために実行を一時停止してください。 ポーリングループでは使用せず、DOMポーリングには mcp_browser_wait_for を使ってください。

Required parameters:

  • ms:待ち時間(ミリ秒単位)([0, 5000]にクランプ)

mcp_desktop_clipboard_read

システムのクリップボードの現在の内容を読みましょう。 No parameters. クリップボードの形式とペイロードを記述したJSONオブジェクト(テキスト文字列またはbase64エンコード画像)を返します。

mcp_desktop_clipboard_write

システムのクリップボードにテキストを書き込み、現在の内容を置き換えます。

Required parameters:

  • テキスト:クリップボードに書くためのテキスト

文字数を含む確認を返します。

mcp_desktop_list_processes

現在のセッションで実行中のプロセスをリストアップします。 各エントリにはPID、プロセス名、メモリ使用量、ウィンドウタイトル(あれば)、および startTimeTicksが含まれます。 リサイクルされたPIDを殺すのを防ぐために startTimeTicks と組み合わせ mcp_desktop_kill_process してください。

Optional parameters:

  • maxCount:返すべき最大プロセス数(デフォルト200)

プロセス情報オブジェクトのJSON配列を返します。

mcp_desktop_kill_process

PIDでプロセスを終了します。 PIDリサイクルを防ぐためにmcp_desktop_list_processesからのstartTime値を供給しなければなりません。

Required parameters:

  • pid:プロセスIDが返す mcp_desktop_list_processes
  • startTime:処理開始時間のティックは mcp_desktop_list_processes

Optional parameters:

  • フォース:優雅なシャットダウンなしのフォースキル(デフォルトはfalse)

結果を説明するJSON結果を返します。

mcp_desktop_launch_application

許可されたディレクトリからGUIアプリケーションを起動します。 CLIコマンドには mcp_desktop_execute_shell_command を使いましょう。

Required parameters:

  • path:実行ファイルへの絶対パス。 前切り(例えば C:/Program Files/app.exe)を使いましょう。

Optional parameters:

  • args: コマンドライン引数の配列

{path, pid} を返します。

mcp_desktop_get_system_info

OSのバージョン、CPU、RAM、利用可能なディスク容量、表示解像度を返します。 No parameters. システム情報を含むJSONオブジェクトを返します。

mcp_browser_navigate

URLに移動してページが読み込まれるのを待ちます。

Required parameters:

  • URL:プロトコルを含む完全なURL(例: https://example.com)

mcp_browser_back

ブラウザ履歴を遡って確認してください。 No parameters.

mcp_browser_forward

ブラウザ履歴を進めてください。 No parameters.

mcp_browser_reload

現在のページをリロードしてください。 No parameters.

mcp_browser_get_url

現在のページのURLをプレーン文字列として返します。 No parameters.

mcp_browser_get_title

現在のページタイトルを単純な文字列として返します。 No parameters.

mcp_browser_get_text

見えるページのテキスト内容をプレーン文字列として返します。 No parameters. 512KBに短縮されました。

mcp_browser_get_html

ページ全体のHTMLソースを単純な文字列として返します。 No parameters. 512KBに短縮されました。

mcp_browser_click

CSSセレクターでDOM要素をクリックします。 ウェブコンテンツの座標クリックよりも信頼性が高いです。

Required parameters:

  • セレクタ:CSSセレクタ(例: #submit-btna.nav-link)

mcp_browser_type

CSSセレクターでフォーム要素にテキストを入力します。

Required parameters:

  • セレクタ:入力要素のCSSセレクタ。
  • テキスト:テキスト入力

mcp_browser_query_text

最初の要素のテキスト内容をCSSセレクターと一致させてください。

Required parameters:

  • セレクター:CSSセレクタ

mcp_browser_wait_for

DOM要素が現れるのを待ちます。 非同期で読み込まれる動的なコンテンツに便利です。

Required parameters:

  • セレクター:CSSセレクターを待つ

Optional parameters:

  • タイムアウトMS:ミリ秒単位のタイムアウト(デフォルト5000、最大30000秒)

mcp_browser_eval_js

ページコンテキストでJavaScriptの式を評価し、結果を文字列として返します。

Required parameters:

  • :文字列を返すJavaScript式

Note

式がオブジェクトや数値を返す場合は、それを明示的に文字列に変換してください(例: JSON.stringify(obj).toString())。

mcp_browser_list_tabs

開いているすべてのタブを索引、タイトル、URLとともにリストアップしてください。 No parameters. {index, title, url}の配列を返します。

mcp_browser_switch_tab

インデックスでタブに切り替えてください。

Required parameters:

  • tabIndex:0ベースのタブインデックス

mcp_browser_new_tab

新しいタブを開き、必要に応じてURLへ移動してください。

Optional parameters:

  • URL: 開くためのURL(省略の場合は空白タブ)

{index, title, url} を返します。

mcp_browser_close_tab

インデックスでタブを閉じる。

Required parameters:

  • tabIndex:0ベースのタブインデックス

mcp_browser_screenshot

ブラウザのビューポートのみのPNGスクリーンショットをキャプチャしてください(全画面は撮りません)。 No parameters. base64でエンコードされたPNGを返します。

mcp_browser_select_option

<select>要素のvalue属性で1つ以上のオプションを選択します。

Required parameters:

  • セレクタ: <select> 要素のCSSセレクタ
  • :選択するオプション値の配列

選択されたオプションの数を含む確認を返します。

mcp_browser_fill_form

1回の通話で複数のフォーム欄に記入してください。 各エントリーは {selector, value} ペアです。 最初の失敗で停止し、どのフィールドが成功したかを報告します。

Required parameters:

  • フィールド: {selector, value} ペアの配列

埋められたフィールド数の確認を返します。

mcp_browser_drag

ソース要素をターゲット要素にドラッグします。 両方の要素はCSSセレクターによって識別されます。

Required parameters:

  • sourceSelector:ドラッグソースのCSSセレクタ
  • targetSelector:ドロップターゲットのCSSセレクター

mcp_browser_pdf_save

現在のページをPDFファイルとして保存してください。 宛先パスは %USERPROFILE% または %TEMP%に制限されています。

Required parameters:

  • filePath: %USERPROFILE% または %TEMP%の下にある宛先ファイルパス。 前方の斬撃を使いましょう。

保存済みのファイルパスを含む確認メッセージを返します。

mcp_browser_handle_dialog

保留中のブラウザダイアログ(アラート、確認、プロンプト、またはアンロード前)を承認または終了してください。 「対話保留中なし」がアクティブな場合、返します。

Required parameters:

  • アクション: accept または dismiss

Optional parameters:

  • promptText: プロンプトダイアログに入力するテキスト(アラートと確認は無視)

mcp_browser_snapshot

ページのアクセシビリティツリーを、DOMノードにマッピングする安定したref ID(例: e5)でキャプチャします。 mcp_browser_click_refmcp_browser_type_refmcp_browser_hover_refのリファレンスを活用しましょう。 参照はページがナビゲートした時点で期限切れになります — ナビゲーション後にスナップショットを再度撮ってください。

Optional parameters:

  • maxDepth:最大木の深さ、1-10(デフォルト5)
  • includeIframes:クロスオリジンのiframesを含める(デフォルトtrue)

アクセシビリティスナップショットとref IDを含むJSONオブジェクトを返します。

mcp_browser_click_ref

mcp_browser_snapshotからref IDで要素をクリックします。 ヒットテストは、他の要素がターゲットの上に重ねていないことを確認するためのものです。 スナップショットが期限切れの場合は失敗します — その場合はスナップショットを再度取得してください。

Required parameters:

  • snapshotId: スナップショットIDが返される mcp_browser_snapshot
  • ref: スナップショットノードからの要素ref(例: e5)

Optional parameters:

  • ボタン:左、右、または中央(デフォルトの左)
  • クリックカウント:1 = シングルクリック、2 = ダブルクリック(デフォルト1)

クリックした座標を含む確認メッセージを返します。

mcp_browser_type_ref

mcp_browser_snapshotのref IDで要素にテキストを入力してください。 要素が最初にフォーカスされ、既存のテキストはデフォルトでクリアされます。 スナップショットが期限切れの場合は失敗します。

Required parameters:

  • snapshotId: スナップショットIDが返される mcp_browser_snapshot
  • ref: スナップショットノードからの要素ref(例: e5)
  • テキスト:テキスト入力

Optional parameters:

  • clear:まず既存のテキストをクリア(デフォルトはtrue)

文字数を含む確認を返します。

mcp_browser_hover_ref

mcp_browser_snapshotの参照IDで要素にカーソルを合わせます。 Returns immediately. スナップショットが期限切れの場合は失敗します — その場合はスナップショットを再度取得してください。

Required parameters:

  • snapshotId: スナップショットIDが返される mcp_browser_snapshot
  • ref: スナップショットノードからの要素ref(例: e5)

ホバー座標を含む確認を返します。

mcp_accessibility_get_accessibility_tree

前景ウィンドウのUI要素ツリーを取得してください。 各要素には役割、名前、値、画面座標が含まれています。

Optional parameters:

  • maxDepth:最大木の走査深度、1〜10(デフォルト3)
  • maxElements:返すべき最大要素、1-2000(デフォルト500)

{role, name, value, x, y, width, height, children[...]}の階層ツリーを返します。

mcp_accessibility_find_ui_element

テキスト内容、アクセシビリティロール、または名前(大文字に区別されないサブ文字列)でUI要素を検索できます。 クリック可能な画面座標とともに、一致する要素を返します。

Optional parameters:

  • テキスト:検索用のテキスト(名前が省略された場合、名前として使用)
  • ロール:UIロールフィルター — ButtonTextBoxCheckBoxMenuItemComboBoxなど
  • 名前:アクセス可能な名前(両方が提供されている場合はテキストより優先)
  • windowHandle: ターゲットウィンドウハンドル(null = foreground window)

Key features

Desktop interaction

  • クリック、ダブルクリック、右クリック、そして5ボタンのマウス操作。
  • ピクセル単位のドラッグ&ドロップ。
  • ノッチベースのスクロール(1ページ≈3ノッチです)。
  • キーボードタイピングとマルチキーショートカットの組み合わせ。
  • カーソル位置の追跡。
  • 画面解像度検出。

スクリーンキャプチャと分析

  • 全画面またはトリミングされたPNGスクリーンショット。
  • 全画面のOCRと地域ごとの信頼度スコアと境界ボックスを組み合わせて提供します。
  • ウェブコンテンツ用のブラウザビューポート専用スクリーンショット。

Window management

  • すべての見える窓を位置と寸法で列挙します。
  • ファジータイトルマッチでウィンドウを有効化。
  • Focusブラウザのウィンドウ(Edge、Chrome、Firefox)はURLやタイトルでフィルタリング可能です。
  • システムクリティカルなプロセスを保護する優雅なウィンドウクローズ。

Command execution

  • 許可リスト(git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type)を持つサンドボックス化されたシェルコマンド。
  • 最大262,144文字のコードを実行するサンドボックス化されたPython。
  • ワーキングディレクトリおよび通話ごとのタイムアウト制御(最大30秒)。
  • リソース制限とシェルメタキャラクターに対する強化されたブロックリスト、評価フラグ、特権のエスカレーション、破壊的な操作に対して。

Browser automation

  • ナビゲート、後退、前進、リロード。
  • ページURL、タイトル、可視テキスト(512KB上限)、および完全なHTML(512KB上限)を読みます。
  • CSSセレクターによるDOMレベルのクリック、入力、テキストクエリ。
  • 動的要素と設定可能なタイムアウトを待つ。
  • ページの文脈で JavaScript 表現を評価してください。
  • マルチタブ管理:リスト、スイッチ、開く、閉じる。
  • Microsoft Edge上で動作し、初回使用時に自動的に起動します。

UI accessibility

  • 前景ウィンドウの Windows UI オートメーション tree を取得し、深度と要素数を設定できます。
  • テキスト、役割、またはアクセシブルな名前でUI要素を見つけられます。
  • ボタン、テキストボックス、チェックボックス、メニュー項目、コンボボックスの正確なターゲット化のためにクリック可能な画面座標を返します。

タイミングと同期

  • mcp_desktop_wait_millisecondsによる短いワンショットの一時停止(最大5秒)。
  • DOMレベルの mcp_browser_wait_for によるポーリング(最大30秒)。

Notes

  • すべての座標は画面上のピクセル単位で表示され、左上に(0,0)が位置しています。 mcp_desktop_take_screenshotmcp_desktop_analyze_screenmcp_accessibility_find_ui_elementmcp_desktop_list_windowsの座標はすべて同じ座標空間を共有します。
  • カーソルフェイルセーフが有効です:カーソルが画面の隅から5ピクセル以内に移動すると、マウス操作はキャンセルされます。 画面の端を狙うのは避けましょう。
  • シェルパイプ演算子(|)、セミコロン(;)、アンパサンド、&)、出力リダイレクト(>、 <)はブロックされています。 コマンド出力を変換するには、それをキャプチャして mcp_desktop_execute_python_codeで処理します。
  • インタプリタの評価フラグがブロックされたり、python -c "..."node -e "..."が拒否された場合、Pythonコードにはmcp_desktop_execute_python_codeを使うか、ファイルを先に書くことができます。
  • コマンド stdout/stderr はそれぞれ32KBに短縮されています。 フラグを使って長文の出力を制限したり(例: git log --oneline -20)、ファイルにリダイレクトして別々に読みます。
  • mcp_desktop_execute_shell_commandmcp_desktop_execute_python_codeの最大タイムアウトは30秒です。 長時間の作業なら、小さなステップに分けたり、Pythonからバックグラウンドプロセスを起動してポーリングを行ってください。
  • 専用のファイル読み書きツールはありません。 mcp_desktop_execute_shell_command ファイルはtypeコマンドで読み込みます。Pythonの内蔵ファイルI/Oを使ってmcp_desktop_execute_python_codeのファイルを書き込むことができます。 シェル出力のリダイレクト(>、 >>)がブロックされています。
  • mcp_browser_eval_js 常に文字列を返します。 戻す前にオブジェクトや数値を明示的に変換してください。
  • ブラウザのDOMツール(mcp_browser_clickmcp_browser_typemcp_browser_eval_jsなど)はMicrosoft Edgeインスタンスのみで動作します。  mcp_desktop_focus_browser ChromeやFirefoxのウィンドウにフォーカスできますが、DOMツールはそれらをターゲットにしません。
  • mcp_desktop_take_screenshot 全画面キャプチャには4つのトリミングパラメータ(x、y、幅、高さ)をすべて同時に設定するか、または全画面でトリミングしない必要があります。
  • mcp_desktop_scroll ピクセルではなく、ノッチ単位([-20, 20]にクランプ)を使用します。 3つのノッチはおよそ1ページに相当します。
  • mcp_accessibility_find_ui_element テキスト、役割、または名前のいずれかが少なくとも1つ必要です。 テキストと名前の両方が提供されている場合、名前が優先されます。

一般的なユース ケース

ウェブフォームに記入してください

  • ターゲットページを開くには mcp_browser_navigate に電話してください。
  • フォームの読み込みを待つために mcp_browser_wait_for に電話してください。
  • mcp_browser_typeに電話して、CSSセレクターで各フィールドを埋めてください。
  • フォームの提出は mcp_browser_click にお電話ください。
  • 確認要素を待つために mcp_browser_wait_for に電話してください。
  • mcp_browser_get_textに電話して結果を確認してください。

デスクトップアプリケーションの自動化

  • mcp_desktop_activate_windowに電話して、申請を前面に押し上げましょう。
  • mcp_desktop_take_screenshotを呼び出して現在の状態をキャプチャしてください。
  • 名前でボタンやフィールドを探すには mcp_accessibility_find_ui_element に電話してください。
  • 報告された要素の座標を伝え mcp_desktop_click
  • mcp_desktop_type_textに電話してデータを入力してください。
  • ショートカットは mcp_desktop_press_keys 呼び出します(例えば、["ctrl"、"s"]で保存)。
  • 結果を確認するために mcp_desktop_take_screenshot に電話してください。

ウェブページからデータを抽出する

  • ページを開くには mcp_browser_navigate に電話してください。
  • mcp_browser_get_textに電話して、見えるテキスト内容を抽出してください。
  • mcp_desktop_execute_python_codeを呼び出して、抽出したデータを解析し処理します。
  • テキスト抽出だけでは不十分な場合は、JavaScript経由で特定の値をクエリするために mcp_browser_eval_js を呼び出してください。

開発タスクを実行する

  • mcp_desktop_execute_shell_commandgit pullnpm installについてはdotnet buildに連絡してください。
  • mcp_desktop_take_screenshotを呼び出してビルド出力をキャプチャします。
  • ログの分析やテスト結果を mcp_desktop_execute_python_code に電話してください。
  • ブラウザでローカルの開発サーバーを開くには mcp_browser_navigate を呼び出してください。
  • mcp_browser_screenshotに電話してレンダリングされたページをキャプチャしてください。

ファイルの読み書き

  • mcp_desktop_execute_shell_commandを使ってファイルを読みtype C:\path\to\file.txt
  • mcp_desktop_execute_python_code ファイルをPythonのopen(...)write(...) を使って書き込みます。
  • mcp_desktop_execute_shell_commandを使って確認dir C:\path\to\output.txt
  • UIの全構造を理解するには mcp_accessibility_get_accessibility_tree に電話してください。
  • 特定のコントロール(例:ロール:「MenuItem」、名前:「Settings」)を mcp_accessibility_find_ui_element 呼びます。
  • 報告された要素の座標を使って mcp_desktop_click に連絡しろ。
  • ダイアログの次のコントロールを見つけるためにもう一度 mcp_accessibility_find_ui_element 呼びかけてください。
  • mcp_desktop_type_textmcp_desktop_clickに連絡して対応してください。

長く続くセッションを生かし続ける

  • MCPのリクエストは少なくとも30分ごとに送信し、無駄な立ち退きを防ぎましょう。
  • mcp_desktop_get_screen_size 軽量で心臓の音としてよく機能します。