運用フロー・システム構成 - AIオートマクロ仕様書

2. ユーザー運用フロー

ユーザーがシステムを利用して自動化を実現する際のエンドツーエンドのフローです。

Phase 1
記録

ユーザー操作の学習 (Data Collection)

「解析モード」を開始し、通常通り業務操作を実施。アクション（クリック・キー入力）、スクリーンショット、座標、操作間隔がバックグラウンドで記録されます。

▼

Phase 2
解析・生成

マクロコードのAI生成 (Intelligence)

YOLO/OCRにより画面が構造化され、作業単位のビジュアルワークフローが提示されます。ユーザーが確認後、「生成」を実行するとローカル実行用コードが出力されます。

▼

Phase 3
実行・最速化

自動追従と最速実行 (Execution)

生成したマクロを実行。記録時の操作スピードに縛られず、200ms周期の即時ポーリングにより、画面遷移完了後、最速で次のステップへ自動進行します。

▼

Phase 4
検証・修復

異常時の自律対応 (Recovery)

タイムアウト発生時、自動で修復フェーズへ移行します。座標のズレは自動補正され、UI変更時はAIがコードを動的再生成して処理を継続します。

3. システム構成と自己修復フロー（アーキテクチャ図）

【図1】システムモジュール連携フロー

A. データ収集

・Event Logger
・Screen Capturer
・Context Manager

➔

B. 画像解析

・YOLO Engine
・OCR Engine
・座標マッピング

➔

C. 生成コア

・Log Integrator
・Code Generator

➔

D. 実行・検証

・ローカル実行
・多段階検証
・自律修復

【図2】 4段階・自己修復意思決定ツリー

マクロ実行＆待機（ポーリング）

⬇

Stage 1: 完全一致検証 (Image Diff)

➔

OK: 次のStepへ

⬇

NG (画像差分が閾値超過)

Stage 2: YOLO/OCR 軽微ズレ補正

➔

OK: 座標上書き & 次へ

⬇

NG (対象UI要素が見つからない)

Stage 3: AI構成変化動的再生成

➔

OK: コード再生成 & 再試行

⬇

NG (目的の画面・コンテキストにいない)

Stage 4: ワークフロー完全逸脱判定

➔

強制終了 (作り直し推奨)