Keyboard Maestroの「Click at Found Image」で画像と一致する場所をクリックするマクロの作り方

Keyboard Maestroのマクロの自由度を上げているアクションに「Click at Found Image」が挙げられます。

これは、あらかじめ設定した画像と一致した場所をクリックするアクションで、キーボードでは操作できないUIをクリックして操作するのに適しています。

かなり便利なアクションで自分もよく使うのですが、設定ができていないと画像の場所を認識してくれなかったり、複数箇所を認識してマクロが終了してしまったりします。

今回はClick at Found Imageで設定できる内容と、使うときのコツをまとめておきます。

Click at Found Imageの使い方

画像の設定

Click at Found Imageの真ん中にある四角い枠内に画像を設定します。
設定はスクリーンショットでクリックさせたい位置を撮影して設定します。

shift + command + 4で選択範囲を撮影するスクリーンショットモードにする
クリックさせたい位置をcontrolを押しながら撮影する（スクリーンショットをクリップボードに保存）
Click at Found Imageの真ん中の四角い枠内にフォーカスしてcommand + Vでペーストする

これで画像の設定完了です。

画像の一致度を調節する

四角い枠のすぐ下にある調節バーで、画像の一致度を調節します。

左にすればするほど画像の認識が明確になり、右にすればするほど画像の認識があいまいになります。

ただし、明確にしすぎると画像を認識してくれなくなりますし、あいまいにしすぎると今度は他の意図しない場所も認識してしまいます。

となりの「Display」にチェックを入れると、アクション実行時に画面上で画像と一致する場所が緑色になるので、何度か試してちょうどいいあんばいを探りましょう。

クリックの種類

Click at Found Imageアクションの上の方でクリックの種類や位置を設定できます。

まずは「Click」の部分からですが、ここはClick以外を使ったことがほぼありません。

クリックの種類	内容
Just move	マウスカーソルを移動するだけ
Click	通常クリックする
Double click	ダブルクリックする
Triple click	トリプルクリックする
Release	クリックしてある状態から離す

次に「left button」の部分ですが、ここは状況に応じて「right button」に変えるときがあります。

クリックの種類	内容
left button	左クリック
right button	右クリック
center button	中央クリック
button 4	外部マウスに付いてあるボタン
button 5
button 6

さらにその右側にある「with modifiers」右のボタンをアクティブにすると、同時に修飾キーを押すようになります。

クリック位置の設定

クリックの種類の下にある「at」でクリックする位置を設定できます。

まず「found image’s center」の部分を変えて画像のどの部分を基点にするか設定します。

クリック位置の基点	内容
found image’s 左上 corner	画像の左上を基点にする
found image’s 右上 corner	画像の右上を基点にする
found image’s 左下 corner	画像の左下を基点にする
found image’s 右下 corner	画像の右下を基点にする
found image’s center	画像の真ん中を基点にする

そして「at」の数値は基点からの距離です。

負の値も入れられるので、基点から左や上の位置も指定できます。

画像を探す場所を指定する

デフォルトだと画面上の全ての場所を探しますが、これも指定可能です。

「in all screens」となっている場所を変更します。

画像を探す場所の指定	内容
all screens	全ての画面上
main screen	メインスクリーン上
second screen	外部ディスプレイのセカンドスクリーン上
third screen	外部ディスプレイのサードスクリーン上
internal screen	MacBookなど内蔵のディスプレイ
external screen	外部ディスプレイ
front window’s screen	フロントウインドウのスクリーン上
back screen	フロントウインドウ以外のスクリーン
second back screen	2つ目のバックスクリーン
screen with mouse	マウスのあるスクリーン
screen with index	スクリーンの番号を指定
the front window	最前面のウインドウ内
window with title	特定タイトルのウインドウ内
window with title containing	特定テキストがタイトルに入っているウインドウ内
window with title matching	特定テキストがタイトルにマッチしているウインドウ内
window with index	ウインドウの番号を指定
area	エリアを座標で指定

例えば特定アプリ内でのみ発火するマクロを作りたいときは、「the front window」にしておくことでアプリ外は探さなくなります（ウインドウを2つ以上出しているときの誤操作も防止できる）。

画像に一致する場所が複数ある場合の処理

画像に一致する場所が複数あった場合、デフォルトの設定だと処理がストップしてしまいます。

そういうときに何を優先するのか設定しておくと、マクロを止めることなく進めてくれます（状況によっては意図しない動作を避けるために止めた方が良い場合もあります）。

画像の一致度を調節するバーの右にある「Unique」とある場所で設定します。

クリック位置の基点	内容
Unique	1つ一致した場合にのみ処理する
Best	1番一致している場所を優先する
Topmost	上の方を優先する
Leftmost	左の方を優先する
Bottommost	下の方を優先する
Rightmost	右の方を優先する

自分の場合は「Best」にすることが多く、たまにメニューバーなど上の方にある場所の場合は「Topmost」にすることもあります。

クリックしたあとにマウスカーソルを元の位置に戻す

Click at Found Imageはその名の通りクリックしてくれるアクションなので、クリックした位置にカーソルが移動してしまいます。

カーソルを元の位置に戻したい場合は歯車アイコンをクリックして「Restore Mouse Location」にチェックをしておきます。

これでクリック後にカーソルが元の位置に戻るようになります。

2022年2月23日：追記

ユミソラさんより、「Just move」の内容が間違えているとご指摘ありました（修正済み）。
ありがとうございます！

Keyboard Maestroの「Click at Found Image」で画像と一致する場所をクリックするマクロの作り方 – Webrandumhttps://t.co/QPE5EHHA6y
このページの添付画像のところ、「Just move」は、クリックなしで、「動くだけ」だと思います pic.twitter.com/LLvTdBbXt2
— ユミソラ@Keyboard Maestro、ﾁｮｯﾄﾃﾞｷﾙ (@YumiSora) February 22, 2022