知識星球
一、說明
簡述：本文將以4399小遊戲《 寵物連連看經典版2 》作為測試案例，透過識別小圖示，模擬滑鼠點選，快速完成配對。對於有興趣學習遊戲指令碼的同學有一定的幫助。
這裡小編也準備了一份python學習資料，加小編QQ群：696541369即可免費獲取！
執行環境：Win10/Python3.5。
主要模組：win32gui（識別視窗、視窗置頂等操作）、PIL（螢幕截圖）、numpy（建立矩陣）、operator（比較值）、pymouse（模擬滑鼠點選）。
註意點：
1、如果安裝pymouse不成功或者執行報錯，可以考慮先透過whl 安裝pyHook、然後再透過pip安裝pyuserinput。
2、如果報錯 [ImportError: No module named ‘windows’ ]，可以修改__init__.py相應的行 為 windows => pymouse.windows。
本文主要參考：https://baijiahao.baidu.com/s?id=1618385402903335091?=spider&for;=pc。
二、開發前景（隨便嘮叨一哈，可跳過）
遊戲輔助指令碼在當前環境也算是比較流行了，對於經常玩遊戲人來說，適當的遊戲輔助還是很有幫助的，讓計算機做一些繁瑣乏味的操作。當然還有更加高大上的其他操作，這裡就不贅述了。對於遊戲輔助指令碼，能想到基本有以下兩種：一是讀取遊戲在記憶體中的資料，理想的話可以做到更改遊戲一些基本屬性，原理和很多的外掛或破解遊戲類似；二是模擬使用者使用者行為，模擬滑鼠點選、鍵盤操作等。當然，由於本人從未涉及遊戲輔助指令碼這一領域，出於個人興趣，學習研究一下，本文例子則是第二種，主要還是模擬使用者行為，讓程式代替使用者操作。
三、開發流程
先看看程式執行圖吧：
瀏覽器開啟遊戲視窗（單個一個視窗），遊戲介面如下圖所示，遊戲主要介面截圖需要兩個坐標（左上角坐標和右下角坐標）來確定，原點一般是螢幕左上角，不確定坐標點值的同學，可以全屏截圖，用編輯圖片軟體檢視坐標值。獲取視窗控制代碼，這裡就是瀏覽器標題欄的標題了（右鍵-檢視原始碼-title，加上軟體名）比如：“寵物連連看經典2,寵物連連看經典版2小遊戲,4399小遊戲 www.4399.com – Google Chrome“。獲取視窗控制代碼就可以開始了。
總體開發思路：擷取遊戲主圖 —> 分割成小圖 —> 對比每個小圖，對比圖片相識度，編號存入矩陣 —> 對矩陣進行可連計算 —> 模擬點選。
3.1、獲取視窗控制代碼，把視窗置頂
python可以使用win32gui模組呼叫Windows API實現對視窗的操作，使用FindWindow()方法可以獲取視窗的控制代碼（handle），需要傳入兩個引數，第一個為父視窗控制代碼（這裡填0即可），第二個引數是視窗的名稱（標簽title – Google Chrome）。獲取控制代碼之後然後透過SetForegroundWindows() 設定視窗在前面，這裡傳入遊戲視窗的舉報即可，程式碼如下：
3. 2、擷取遊戲介面，分割圖示，圖片比較
這裡需要花費一些時間來校驗程式，如果擷取的圖片不好，則會影響後續操作，所以比較主要的是確認遊戲左上角和右下角這兩個坐標值，以及每個小圖示的寬高。如下圖所示，先擷取整個遊戲介面圖，然後分割小圖示，接著對每個圖示進行比較，然後以編號代替圖示存入矩陣（這裡的編號矩陣和遊戲圖不一致，原理一樣）。
根據初始化設定的左上角和右下角兩個坐標，使用ImageGrab.grab()方法進行截圖，傳入一個元組即可，然後對這個大圖進行分割，切割成一個個小圖示存入到images_list陣列中。
透過上面程式碼切割的小圖示，轉成數字矩陣，如果圖示已經存入image_type_list則傳回這個索引，如果不存在，則在追加進去，然後當前長度就是這個新加入圖示的編號，程式碼如下所示：
上面的getIndex就是對比圖片，判斷圖示是否出現過（是否已存在image_type_list中，沒出現則追加進去），這裡使用漢明距離判斷兩個圖片的相識度，設定閥值10，當小於閥值則認為是同一個圖片，具體程式碼如下：
四、程式核心-圖示連線演演算法（路徑尋找）
這裡僅對演演算法程式碼進行簡單分析，如果對程式不好理解，可以留言，後續可以圖文分析。
透過上面的開發流程，基本獲取如下這樣的矩陣，只要比較兩個編號相同的值進行可連路徑尋找，如果找到即進行模擬點選操作。這裡簡單介紹下游戲規則：8行乘12列遊戲圖示區域，外圍的0其實表示尋找路徑的時候可以透過，例如坐標（1, 1）可以與（1,10）進行連線、（7, 1）和（7,2）進行連線。
演演算法的思路：路徑的尋找首先是尋找一個坐標的橫向豎向可以直接相連的坐標集合，比如坐標p1（1,1）這樣的集合有[ （0,1）, （1,0） ]，另外一個坐標p2（1,10）的可連集合為[ （0,10） ]，然後再對p1和p2的可連坐標集合進行比較，如果集合中坐標也有可連，則表示p1和p2可連，很明顯，（0,1）和（0,10）為同一行且可連，這樣就表示p1和p2兩點存在可連路徑了，程式碼如下所示：
簡單分析下程式碼實現過程：在isReachable()傳入兩個需要比較的坐標值，然後分別獲取兩個點橫豎向（isRowConnect()、isColConnect()）可以連線的坐標集合，最後再對集合進行遍歷比較是否存在可連的，如果存在則表示傳入的兩個坐標是可以連線的。
五、開發總結
學習這樣一個遊戲輔助指令碼，對於個人培養程式設計興趣也是有很多幫助的，在工作之餘不失為一個好的消遣方式，以後會多向這些方向研究學習。本案例僅僅是截圖、比較圖片和模擬滑鼠點選，我覺得還可以更加強大，而且還不侷限於遊戲這樣一個領域，相信大家應該見過自動發QQ訊息的軟體吧，我覺得這完全可以做。還有很多模擬操作可以實現：滑鼠滾輪，左右鍵、鍵盤輸入等。
六、附件-原始碼
註意：原始碼僅供學習，轉發註明出處，謝謝！
1 # -*- coding:utf-8 -*-
2
3 import win32gui
4 import time
5 from PIL import ImageGrab, Image
6 import numpy as np
7 import operator
8 from pymouse import PyMouse
9
10
11 class GameAssist:
12
13 def __init__(self, wdname):
14 """初始化"""
15
16 # 取得視窗控制代碼
17 self.hwnd = win32gui.FindWindow(0, wdname)
18 if not self.hwnd:
19 print("視窗找不到，請確認視窗控制代碼名稱：【%s】" % wdname )
20 exit()
21
22 # 視窗顯示最前面
23 win32gui.SetForegroundWindow(self.hwnd)
24
25 # 小圖示編號矩陣
26 self.im2num_arr = []
27
28 # 主截圖的左上角坐標和右下角坐標
29 self.scree_left_and_right_point = (299, 251, 768, 564)
30 # 小圖示寬高
31 self.im_width = 39
32
33 # PyMouse物件，滑鼠點選
34 self.mouse = PyMouse()
35
36 def screenshot(self):
37 """螢幕截圖"""
38
39 # 1、用grab函式截圖，引數為左上角和右下角左標
40 # image = ImageGrab.grab((417, 257, 885, 569))
41 image = ImageGrab.grab(self.scree_left_and_right_point)
42
43 # 2、分切小圖
44 # exit()
45 image_list = {}
46 offset = self.im_width # 39
47
48 # 8行12列
49 for x in range(8):
50 image_list[x] = {}
51 for y in range(12):
52 # print("show",x, y)
53 # exit()
54 top = x * offset
55 left = y * offset
56 right = (y + 1) * offset
57 bottom = (x + 1) * offset
58
59 # 用crop函式切割成小圖示，引數為圖示的左上角和右下角左邊
60 im = image.crop((left, top, right, bottom))
61 # 將切割好的圖示存入對應的位置
62 image_list[x][y] = im
63
64 return image_list
65
66 def image2num(self, image_list):
67 """將圖示矩陣轉換成數字矩陣"""
68
69 # 1、建立全零矩陣和空的一維陣列
70 arr = np.zeros((10, 14), dtype=np.int32) # 以數字代替圖片
71 image_type_list = []
72
73 # 2、識別出不同的圖片，將圖片矩陣轉換成數字矩陣
74 for i in range(len(image_list)):
75 for j in range(len(image_list[0])):
76 im = image_list[i][j]
77
78 # 驗證當前圖示是否已存入
79 index = self.getIndex(im, image_type_list)
80
81 # 不存在image_type_list
82 if index < 0:
83 image_type_list.append(im)
84 arr[i + 1][j + 1] = len(image_type_list)
85 else:
86 arr[i + 1][j + 1] = index + 1
87
88 print("圖示數：", len(image_type_list))
89
90 self.im2num_arr = arr
91 return arr
92
93 # 檢查陣列中是否有圖示,如果有則傳回索引下表
94 def getIndex(self,im, im_list):
95 for i in range(len(im_list)):
96 if self.isMatch(im, im_list[i]):
97 return i
98
99 return -1
100
101 # 漢明距離判斷兩個圖示是否一樣
102 def isMatch(self, im1, im2):
103
104 # 縮小圖示，轉成灰度
105 image1 = im1.resize((20, 20), Image.ANTIALIAS).convert("L")
106 image2 = im2.resize((20, 20), Image.ANTIALIAS).convert("L")
107
108 # 將灰度圖示轉成01串,即系二進位制資料
109 pixels1 = list(image1.getdata())
110 pixels2 = list(image2.getdata())
111
112 avg1 = sum(pixels1) / len(pixels1)
113 avg2 = sum(pixels2) / len(pixels2)
114 hash1 = "".join(map(lambda p: "1" if p > avg1 else "0", pixels1))
115 hash2 = "".join(map(lambda p: "1" if p > avg2 else "0", pixels2))
116
117 # 統計兩個01串不同數字的個數
118 match = sum(map(operator.ne, hash1, hash2))
119
120 # 閥值設為10
121 return match < 10
122
123 # 判斷矩陣是否全為0
124 def isAllZero(self, arr):
125 for i in range(1, 9):
126 for j in range(1, 13):
127 if arr[i][j] != 0:
128 return False
129 return True
130
131 # 是否為同行或同列且可連
132 def isReachable(self, x1, y1, x2, y2):
133 # 1、先判斷值是否相同
134 if self.im2num_arr[x1][y1] != self.im2num_arr[x2][y2]:
135 return False
136
137 # 1、分別獲取兩個坐標同行或同列可連的坐標陣列
138 list1 = self.getDirectConnectList(x1, y1)
139 list2 = self.getDirectConnectList(x2, y2)
140 # print(x1, y1, list1)
141 # print(x2, y2, list2)
142
143 # exit()
144
145 # 2、比較坐標陣列中是否可連
146 for x1, y1 in list1:
147 for x2, y2 in list2:
148 if self.isDirectConnect(x1, y1, x2, y2):
149 return True
150 return False
151
152 # 獲取同行或同列可連的坐標陣列
153 def getDirectConnectList(self, x, y):
154
155 plist = []
156 for px in range(0, 10):
157 for py in range(0, 14):
158 # 獲取同行或同列且為0的坐標
159 if self.im2num_arr[px][py] == 0 and self.isDirectConnect(x, y, px, py):
160 plist.append([px, py])
161
162 return plist
163
164 # 是否為同行或同列且可連
165 def isDirectConnect(self, x1, y1, x2, y2):
166 # 1、位置完全相同
167 if x1 == x2 and y1 == y2:
168 return False
169
170 # 2、行列都不同的
171 if x1 != x2 and y1 != y2:
172 return False
173
174 # 3、同行
175 if x1 == x2 and self.isRowConnect(x1, y1, y2):
176 return True
177
178 # 4、同列
179 if y1 == y2 and self.isColConnect(y1, x1, x2):
180 return True
181
182 return False
183
184 # 判斷同行是否可連
185 def isRowConnect(self, x, y1, y2):
186 minY = min(y1, y2)
187 maxY = max(y1, y2)
188
189 # 相鄰直接可連
190 if maxY - minY == 1:
191 return True
192
193 # 判斷兩個坐標之間是否全為0
194 for y0 in range(minY + 1, maxY):
195 if self.im2num_arr[x][y0] != 0:
196 return False
197 return True
198
199 # 判斷同列是否可連
200 def isColConnect(self, y, x1, x2):
201 minX = min(x1, x2)
202 maxX = max(x1, x2)
203
204 # 相鄰直接可連
205 if maxX - minX == 1:
206 return True
207
208 # 判斷兩個坐標之間是否全為0
209 for x0 in range(minX + 1, maxX):
210 if self.im2num_arr[x0][y] != 0:
211 return False
212 return True
213
214 # 點選事件並設定陣列為0
215 def clickAndSetZero(self, x1, y1, x2, y2):
216 # print("click", x1, y1, x2, y2)
217
218 # (299, 251, 768, 564)
219 # 原理：左上角圖示中點 + 偏移量
220 p1_x = int(self.scree_left_and_right_point[0] + (y1 - 1)*self.im_width + (self.im_width / 2))
221 p1_y = int(self.scree_left_and_right_point[1] + (x1 - 1)*self.im_width + (self.im_width / 2))
222
223 p2_x = int(self.scree_left_and_right_point[0] + (y2 - 1)*self.im_width + (self.im_width / 2))
224 p2_y = int(self.scree_left_and_right_point[1] + (x2 - 1)*self.im_width + (self.im_width / 2))
225
226 time.sleep(0.2)
227 self.mouse.click(p1_x, p1_y)
228 time.sleep(0.2)
229 self.mouse.click(p2_x, p2_y)
230
231 # 設定矩陣值為0
232 self.im2num_arr[x1][y1] = 0
233 self.im2num_arr[x2][y2] = 0
234
235 print("消除：(%d, %d) (%d, %d)" % (x1, y1, x2, y2))
236 # exit()
237
238 # 程式入口、控制中心
239 def start(self):
240
241 # 1、先擷取遊戲區域大圖，然後分切每個小圖
242 image_list = self.screenshot()
243
244 # 2、識別小圖示，收集編號
245 self.image2num(image_list)
246
247 print(self.im2num_arr)
248
249 # 3、遍歷查詢可以相連的坐標
250 while not self.isAllZero(self.im2num_arr):
251 for x1 in range(1, 9):
252 for y1 in range(1, 13):
253 if self.im2num_arr[x1][y1] == 0:
254 continue
255
256 for x2 in range(1, 9):
257 for y2 in range(1, 13):
258 # 跳過為0 或者同一個
259 if self.im2num_arr[x2][y2] == 0 or (x1 == x2 and y1 == y2):
260 continue
261 if self.isReachable(x1, y1, x2, y2):
262 self.clickAndSetZero(x1, y1, x2, y2)
263
264
265 if __name__ == "__main__":
266 # wdname 為連連看視窗的名稱，必須寫完整
267 wdname = u'寵物連連看經典版2,寵物連連看經典版2小遊戲,4399小遊戲 www.4399.com - Google Chrome'
268
269 demo = GameAssist(wdname)
270 demo.start()
GameAssist.py
