Python PyAutoGUI - GUI作業の自動化

GUI操作を自動化できればPCの単純操作を任せることができるようになり大変便利です。

今回は、GUI操作を自動化するライブラリの「PyuAutoGUI」をご紹介します。

インストール 

1
pip install PyAutoGUI

コーディング

簡単に座標位置をクリックするだけのコードは次のようになります。

1
2
3
4
import pyautogui

pyautogui.moveTo(100, 100)
pyautogui.click()

この処理は「moveTo」と「click」を合わせて下記のように書くこともできます。

1
pyautogui.click(100, 100)

座標を調べたい場合は、下記のコードを実行するとマウス位置の座標を調べることができます。 
1
2
3
4
5
6
7
8
9
10
import pyautogui

pos1 = []
while True:
    pos2 = pyautogui.position()
    if pos1 == pos2:
        pass
    else:
        print(pos2)
    pos1 = pos2

ただ座標位置を指定する方法ですと、座標をいちいち調べないといけませんし座標が変わってしまうようなときには対応できなくなります、

このようなときには「画像マッチング機能」を使い画像を探してクリックや入力するなどの操作を行います。

1
2
3
4
5
6
7
8
9
10
11
import pyautogui, time

while True:
    # 'btn.png'には探すべき画像ファイルを指定
    btn = pyautogui.locateCenterOnScreen('btn.png')
    if btn is None:
        pass
    else:
        print('find!')
        pyautogui.click(btn)
    time.sleep(1)

locateCenterOnScreenメソッドを使うと、画像とマッチした座標を探すことができます。
上記のコードでは、対象の画像が見つかった場合にその画像のクリックを行います。