PythonライブラリAutoPy徹底解説：デスクトップ操作自動化の世界へ

pip install autopy

import autopy
import time
# 画面サイズを取得
width, height = autopy.screen.size()
print(f"画面サイズ: {width}x{height}")
# 左上 (10, 10) に瞬間移動
autopy.mouse.move(10, 10)
time.sleep(1)
# 画面中央 (width/2, height/2) に滑らかに移動
autopy.mouse.smooth_move(width / 2, height / 2)
time.sleep(1)
# 現在位置で左クリック
autopy.mouse.click()
time.sleep(1)
# (100, 200) に移動して右クリック
autopy.mouse.move(100, 200)
autopy.mouse.click(autopy.mouse.Button.RIGHT)
time.sleep(1)
# ドラッグ操作 (例: (300, 300) から (500, 500) へドラッグ)
autopy.mouse.move(300, 300)
autopy.mouse.toggle(True) # マウスボタンを押す
autopy.mouse.smooth_move(500, 500)
autopy.mouse.toggle(False) # マウスボタンを離す
print("マウス操作完了 ")

import autopy
import time
# 少し待機 (他のウィンドウをアクティブにする時間)
time.sleep(3)
# 文字列を入力
autopy.key.type_string("Hello from AutoPy! ", wpm=100)
time.sleep(0.5)
# Enterキーをタップ
autopy.key.tap(autopy.key.Code.ENTER)
time.sleep(0.5)
# Shiftキーを押しながら 'a' をタップ (大文字の 'A' を入力)
autopy.key.tap('a', [autopy.key.Modifier.SHIFT])
time.sleep(0.5)
# Ctrl + C (コピー) を実行
autopy.key.tap('c', [autopy.key.Modifier.CONTROL]) # macOSでは autopy.key.Modifier.META を使う場合が多い
print("キーボード操作完了 ")

import autopy
# 画面サイズとスケールを取得
width, height = autopy.screen.size()
scale = autopy.screen.scale()
print(f"画面サイズ: {width}x{height}, スケール: {scale}")
# 座標 (100, 100) の色を取得 (16進数)
hex_color = autopy.screen.get_color(100, 100)
print(f"(100, 100) の色 (16進数): {hex_color:06x}") # 例: 0xffffff (白)
# 16進数をRGBタプルに変換するヘルパー関数
def hex_to_rgb(hex_color): if hex_color is None: return None # 0xFFFFFF のような形式を想定 blue = hex_color & 255 green = (hex_color >> 8) & 255 red = (hex_color >> 16) & 255 return (red, green, blue)
print(f"(100, 100) の色 (RGB): {hex_to_rgb(hex_color)}")
# 白 (0xffffff) のピクセルを探す
white_pixel_location = autopy.screen.find_color(0xFFFFFF)
if white_pixel_location: print(f"白いピクセルが見つかりました: {white_pixel_location}") # 見つかった場所をクリック # autopy.mouse.move(*white_pixel_location) # autopy.mouse.click()
else: print("白いピクセルは見つかりませんでした。")
# 画面全体のスクリーンショットを撮って保存
try: full_screenshot = autopy.screen.capture() full_screenshot.save("full_screenshot.png") print("画面全体のスクリーンショットを 'full_screenshot.png' に保存しました。")
except Exception as e: print(f"スクリーンショットの保存に失敗しました: {e}")
# 特定の領域 (左上 100x100 ピクセル) のスクリーンショット
try: rect_screenshot = autopy.screen.capture(((0, 0), (100, 100))) rect_screenshot.save("rect_screenshot.png") print("特定領域のスクリーンショットを 'rect_screenshot.png' に保存しました。")
except Exception as e: print(f"特定領域のスクリーンショットの保存に失敗しました: {e}")
print("画面操作完了 ")

import autopy
import time
# 探したい画像ファイル (例: 'button.png') を用意しておく
TARGET_IMAGE_PATH = 'button.png' # このファイルを事前に用意してください
try: # 画像をビットマップとして読み込む target_bitmap = autopy.bitmap.Bitmap.open(TARGET_IMAGE_PATH) print(f"'{TARGET_IMAGE_PATH}' を読み込みました。サイズ: {target_bitmap.width}x{target_bitmap.height}") # 画面上でこのビットマップを探す (5秒間試行) print("画面上で画像を探しています...") found_location = None start_time = time.time() while time.time() - start_time < 5: # 5秒間探す found_location = autopy.screen.find_bitmap(target_bitmap, tolerance=0.1) # toleranceで類似度を許容 if found_location: break time.sleep(0.5) if found_location: print(f"画像が見つかりました！座標: {found_location}") # 見つかった画像の中心をクリックする例 center_x = found_location[0] + target_bitmap.width / 2 center_y = found_location[1] + target_bitmap.height / 2 autopy.mouse.smooth_move(center_x, center_y) time.sleep(0.5) autopy.mouse.click() print("画像をクリックしました。") else: print("画像は見つかりませんでした。")
except FileNotFoundError: print(f"エラー: 画像ファイル '{TARGET_IMAGE_PATH}' が見つかりません。")
except Exception as e: print(f"エラーが発生しました: {e}")
print("ビットマップ操作完了 ")

import autopy
import time
import platform
def run_notepad_example(): if platform.system() != "Windows": print("この例はWindows専用です。") return print("メモ帳を開いて操作します...(5秒後に開始)") time.sleep(5) # 1. 「ファイル名を指定して実行」(Win + R) を開く autopy.key.tap(autopy.key.Code.WINDOWS) # Windowsキーを押す time.sleep(0.1) autopy.key.tap('r', [autopy.key.Modifier.META]) # Win + R (macOSではCommand+RだがここではWinキーを流用) # autopy.key.toggle(autopy.key.Code.WINDOWS, True) # Winキーを押したまま # autopy.key.tap('r') # autopy.key.toggle(autopy.key.Code.WINDOWS, False) # Winキーを離す time.sleep(1) # ダイアログが表示されるのを待つ # 2. "notepad" と入力してEnter autopy.key.type_string("notepad") time.sleep(0.5) autopy.key.tap(autopy.key.Code.ENTER) time.sleep(2) # メモ帳が起動するのを待つ # 3. メモ帳に文字を入力 autopy.key.type_string("これはAutoPyによる自動入力です。\n") time.sleep(0.5) autopy.key.type_string("Hello, Automation World! \n") time.sleep(1) # 4. ファイルを保存 (Ctrl + S) autopy.key.tap('s', [autopy.key.Modifier.CONTROL]) time.sleep(1) # 「名前を付けて保存」ダイアログが表示されるのを待つ # 5. ファイル名を入力してEnter autopy.key.type_string("autopy_test.txt") time.sleep(0.5) autopy.key.tap(autopy.key.Code.ENTER) time.sleep(1) # 保存されるのを待つ # (もしファイルが存在する場合の上書き確認に対応) # autopy.key.tap(autopy.key.Code.ENTER) # 必要に応じて追加 # time.sleep(1) # 6. メモ帳を閉じる (Alt + F4) autopy.key.toggle(autopy.key.Modifier.ALT, True) autopy.key.tap(autopy.key.Code.F4) autopy.key.toggle(autopy.key.Modifier.ALT, False) print("メモ帳の操作が完了しました。'autopy_test.txt' が保存されたはずです。")
if __name__ == "__main__": run_notepad_example()

import autopy
import time
# クリックしたいボタンの画像ファイル
BUTTON_IMAGE = 'submit_button.png' # 事前にボタンのスクリーンショットを用意
def find_and_click_image(image_path, timeout=10, tolerance=0.1): """指定された画像を画面上で探し、見つかったらクリックする""" try: target_bitmap = autopy.bitmap.Bitmap.open(image_path) print(f"画像 '{image_path}' を探しています (タイムアウト: {timeout}秒)...") start_time = time.time() location = None while time.time() - start_time < timeout: location = autopy.screen.find_bitmap(target_bitmap, tolerance=tolerance) if location: print(f"画像が見つかりました: {location}") # 画像の中心座標を計算 center_x = location[0] + target_bitmap.width / 2 center_y = location[1] + target_bitmap.height / 2 # マウスを移動してクリック autopy.mouse.smooth_move(center_x, center_y) time.sleep(0.3) # 移動後に少し待つ autopy.mouse.click() print(f"座標 ({center_x:.0f}, {center_y:.0f}) をクリックしました。") return True time.sleep(0.5) # 0.5秒ごとに再試行 print("画像が見つかりませんでした。") return False except FileNotFoundError: print(f"エラー: 画像ファイル '{image_path}' が見つかりません。") return False except Exception as e: print(f"エラーが発生しました: {e}") return False
if __name__ == "__main__": print("画像検索クリックテストを開始します...(3秒後)") time.sleep(3) # 準備時間 # 用意したボタン画像を探してクリック if find_and_click_image(BUTTON_IMAGE): print("処理成功 ") else: print("処理失敗 ")