Claude Code、ついにPC操作が可能に｜アプリを開いてクリック・UIテストまでCLIから自動実行【Computer Use】

Anthropicは2026年3月23日、Claude CodeにComputer Use機能を追加した。CLIから会話するだけで、Claudeが実際にmacOSのアプリを開き・クリックし・テキストを入力し・スクリーンショットを撮る。コードを書いてビルドして動作確認するところまで、Claudeが一人でやり切る。

現在はPro/MaxプランのmacOSユーザー向けにリサーチプレビューとして公開されている。

できること

コードを書く・シェルを叩く・ブラウザを操作するだけでは届かなかった領域に、ようやくClaudeの手が届くようになった。

アプリのビルド＆実機確認
SwiftでmacOSのメニューバーアプリを書かせ、コンパイル・起動・ボタンクリックまで自動実行。「動いた」をClaudeが自分で確認する。

E2Eのビジュアルテスト
ElectronアプリのオンボーディングフローをClaudeが開いてクリックし、各ステップをスクリーンショット。Playwright等の設定は不要。

視覚的バグの再現と修正確認
「ウィンドウを狭くするとモーダルのフッターが欠ける」といった問題を、ウィンドウリサイズ→バグ再現→CSS修正→再確認まで自動ループで解決する。

APIを持たないGUIツールの操作
デザインツール、ハードウェアのコントロールパネル、iOSシミュレーターなど、CLIから触れなかったGUI専用ツールも操作できる。

有効化の手順

--computer-use フラグのような特別なオプションは存在しない。MCPサーバーとして実装されており、セッション内で有効化する。

# 1. セッション内でMCPメニューを開く
/mcp

# 2. "computer-use" を選択してEnable
#    （設定はプロジェクトごとに保存される）

# 3. 初回のみ：macOSの権限を付与
#    System Settings → Privacy & Security
#    - Accessibility（クリック・タイピング・スクロール）
#    - Screen Recording（画面を見る）
#    ※ Screen Recordingはクロードコードの再起動が必要な場合あり

バージョンは v2.1.85以上 が必要。claude --version で確認できる。

実際の使い方

有効化後は普通の会話でClaudeに頼むだけ。

Build the app target, launch it, and click through each tab
to make sure nothing crashes. Screenshot any error states you find.

Thesettingsmodalclipsitsfooteronnarrowwindows.Resizethe
appwindowdownuntilyoucanreproduceit,screenshottheclipped
state,thenchecktheCSSforthemodalcontainer.

操作中はEscキーまたは Ctrl+C でいつでも即座に中断できる。

技術的な仕組み

Computer UseはClaude Codeの組み込みMCPサーバーとして実装されている。Claudeがタスクを処理する際の優先順位はこうなっている。

1. Bashツール — シェルコマンドで解決できる場合
2. Claude in Chrome — ブラウザ操作で足りる場合
3. computer-use — 上記で届かないGUI専用タスクのみ

つまりComputer Useは「最後の手段」として設計されており、速度や精度の高い方法を優先してから発動する。

動作フローは以下の通り。

1. computer-useが起動するとマシン全体のロックを取得（他セッションとの競合防止）
2. 承認済み以外のアプリを非表示化（自分のターミナルウィンドウは除外）
3. Accessibility APIでクリック・タイピング・スクロールを実行
4. Screen Recordingで画面をキャプチャ（ターミナル自身はスクリーンショット対象外）
5. Escで中断→ロック解放→アプリ復元

制限と注意点

承認はセッション単位。次回セッションでは各アプリへの承認が再度必要になる。

Terminal・Finder・System Settingsなど、シェルアクセスやシステム設定変更ができるアプリは特別な警告付きで確認プロンプトが表示される。

Claude APIのcomputer useとの違い

以前から存在していたClaude APIの「computer use tool」とは用途が根本的に異なる。

わさびの見解

ここが個人的に面白いと思うポイントだ。

Playwrightなしでビジュアルテストができるという点が、開発者ワークフローに与える影響はかなり大きい。E2Eテストのセットアップは地味に面倒で後回しにされがちだが、「Claudeに頼めばやってくれる」となれば状況が変わる。

ただし現状はmacOS限定・research preview段階で、Claude自身が目で見て判断するため速度は遅い。シェルで解決できることはBashが優先されるし、ブラウザならChromeが使われる。Computer Useが発動するのは本当に「GUIしかない」ケースに絞られる。

Windows対応の時期は未発表だが、Anthropicのペースを見る限り年内に来てもおかしくない。

まとめ

• 2026年3月23日にリサーチプレビュー公開
• macOSのアプリをClaudeが直接操作（クリック・タイピング・スクリーンショット）
• 有効化は /mcp → “computer-use” をEnableするだけ
• Pro/MaxプランのmacOSユーザー限定（v2.1.85以上）
• Playwright不要のビジュアルテスト・GUIツール操作が可能に

Claude Codeがコードを書いて、ビルドして、自分で触って確認する——そのループが完成しつつある。

参考リンク
– Anthropic公式ブログ: Put Claude to work on your computer
– Claude Code公式ドキュメント: Let Claude use your computer from the CLI