基於Python實現的微信好友資料分析-知識星球

最近微信迎來了一次重要的更新，允許使用者對”發現”頁面進行定製。不知道從什麼時候開始，微信朋友圈變得越來越複雜，當越來越多的人選擇”僅展示最近三天的朋友圈”，大概連微信官方都是一臉的無可奈何。逐步泛化的好友關係，讓微信從熟人社交逐漸過渡到陌生人社交，而朋友圈裡亦真亦幻的狀態更新，彷彿在努力證明每一個個體的”有趣”。

有人選擇在朋友圈裡記錄生活的點滴，有人選擇在朋友圈裡展示觀點的異同，可歸根到底，人們無時無刻不在窺探著別人的生活，唯獨怕別人過多地瞭解自己的生活。人性中交織著的光明與黑暗，像一隻渾身長滿刺的刺蝟，離得太遠會感覺到寒冷，而靠得太近則害怕被刺扎到。朋友圈就像過年走親戚，即便你心中有一萬個不痛快，總是不願意撕破臉，或遮蔽對方，或不給對方看，或僅展示最後三天，於是通訊錄裡的聯絡人越來越多，朋友圈越來越大，可再不會有能真正觸動你內心的”小紅點”出現，人類讓一個產品變得越來越複雜，然後說它無法滿足人類的需求，這大概是一開始就始料不及的吧！

01 引言

有人說，人性遠比計算機程式設計更複雜，因為即使是人類迄今為止最偉大的發明——計算機，在面對人類的自然語言時同樣會張惶失措。人類有多少語言存在著模稜兩可的含義，我認為語言是人類最大的誤解，人類時常喜歡揣測語言背後隱藏的含義，好像在溝通時表達清晰的含義會讓人類沒有面子，更不用說網路上流行的猜測女朋友真實意圖的案例。金庸先生的武俠小說《射鵰英雄傳》裡，在資訊閉塞的南宋時期，江湖上裘千丈的一句鬼話，就攪得整個武林天翻地覆。其實，一兩句話說清楚不好嗎？黃藥師、全真七子、江南六怪間的種種糾葛，哪一場不是誤會？一眾兒武功震古爍今的武林高手，怎麼沒有絲毫的去偽存真的能力，語言造成了多少誤會。

可即便人類的語言複雜得像一本無字天書，可人類還是從這些語言中尋覓到蛛絲馬跡。古人有文王”拘而演周易”、東方朔測字卜卦，這種帶有”迷信”色彩的原始崇拜，就如同今天人們迷信星座運勢一般，都是人類在上千年的演變中不斷對經驗進行總結和訓練的結果。

如此說起來，我們的人工智慧未嘗不是一種更加科學化的”迷信”，因為資料和演演算法讓我們在不斷地相信，這一切都是真實地。生活在數字時代的我們，無疑是悲哀的，一面努力地在別人面前隱藏真實地自己，一面不無遺憾地感慨自己無處遁逃，每一根數字神經都緊緊地聯絡著你和我，你不能渴望任何一部數字裝置具備真正的智慧，可你生命裡的每個瞬間，都在悄然間被資料地折射出來。

今天這篇文章會基於 Python 對微信好友進行資料分析，這裡選擇的維度主要有：性別、頭像、簽名、位置，主要採用圖表和詞雲兩種形式來呈現結果，其中，對文字類資訊會採用詞頻分析和情感分析兩種方法。常言道：工欲善其事，必先利其器也。在正式開始這篇文章前，簡單介紹下本文中使用到的第三方模組：

* itchat：微信網頁版介面封裝Python版本，在本文中用以獲取微信好友資訊。

* jieba：結巴分詞的 Python 版本，在本文中用以對文字資訊進行分詞處理。

* matplotlib： Python 中圖表繪製模組，在本文中用以繪製柱形圖和餅圖

* snownlp：一個 Python 中的中文分詞模組，在本文中用以對文字資訊進行情感判斷。

* PIL： Python 中的影象處理模組，在本文中用以對圖片進行處理。

* numpy： Python中的數值計算模組，在本文中配合 wordcloud 模組使用。

* wordcloud： Python 中的詞雲模組，在本文中用以繪製詞雲圖片。

* TencentYoutuyun：騰訊優圖提供的 Python 版本 SDK ，在本文中用以識別人臉及提取圖片標簽資訊。

以上模組均可透過 pip 安裝，關於各個模組使用的詳細說明，請自行查閱各自檔案。

02 資料分析

分析微信好友資料的前提是獲得好友資訊，透過使用 itchat 這個模組，這一切會變得非常簡單，我們透過下麵兩行程式碼就可以實現：

itchat.auto_login(hotReload = True)
friends = itchat.get_friends(update = True)

同平時登入網頁版微信一樣，我們使用手機掃描二維碼就可以登入，這裡傳回的friends物件是一個集合，第一個元素是當前使用者。所以，在下麵的資料分析流程中，我們始終取friends[1:]作為原始輸入資料，集合中的每一個元素都是一個字典結構，以我本人為例，可以註意到這裡有Sex、City、Province、HeadImgUrl、Signature這四個欄位，我們下麵的分析就從這四個欄位入手：

03 好友性別

分析好友性別，我們首先要獲得所有好友的性別資訊，這裡我們將每一個好友資訊的Sex欄位提取出來，然後分別統計出Male、Female和Unkonw的數目，我們將這三個數值組裝到一個串列中，即可使用matplotlib模組繪製出餅圖來，其程式碼實現如下：

def analyseSex(firends):

sexs = list(map(lambda x:x[‘Sex’],friends[1:]))

counts = list(map(lambda x:x[1],Counter(sexs).items()))

labels = [‘Unknow’,‘Male’,‘Female’]

colors = [‘red’,‘yellowgreen’,‘lightskyblue’]

plt.figure(figsize=(8,5), dpi=80)

plt.axes(aspect=1)

plt.pie(counts, #性別統計結果

labels=labels, #性別展示標簽

colors=colors, #餅圖區域配色

labeldistance = 1.1, #標簽距離圓點距離

autopct = ‘%3.1f%%’, #餅圖區域文字格式

shadow = False, #餅圖是否顯示陰影

startangle = 90, #餅圖起始角度

pctdistance = 0.6 #餅圖區域文字距離圓點距離

)

plt.legend(loc=‘upper right’,)

plt.title(u‘%s的微信好友性別組成’ % friends[0][‘NickName’])

plt.show()

這裡簡單解釋下這段程式碼，微信中性別欄位的取值有Unkonw、Male和Female三種，其對應的數值分別為0、1、2。透過Collection模組中的Counter()對這三種不同的取值進行統計，其items()方法傳回的是一個元組的集合，該元組的第一維元素表示鍵，即0、1、2，該元組的第二維元素表示數目，且該元組的集合是排序過的，即其鍵按照0、1、2 的順序排列，所以透過map()方法就可以得到這三種不同取值的數目，我們將其傳遞給matplotlib繪製即可，這三種不同取值各自所佔的百分比由matplotlib計算得出。下圖是matplotlib繪製的好友性別分佈圖：

看到這個結果，我一點都不覺得意外，男女比例嚴重失衡，這雖然可以解釋我單身的原因，可我不覺得透過調整男女比例就能解決問題，好多人認為自己單身是因為社交圈子狹小，那麼是不是擴充套件了社交圈子就能擺脫單身呢？我覺得或許這樣會增加脫單的機率，可幸運之神應該不會眷顧我，因為我的好運氣早在我24歲以前就消耗完啦。在知乎上有一個熱門的話題：現在的男性是否普遍不再對女性展開追求了？，其實哪裡會有人喜歡孤獨呢？無非是怕一次又一次的失望罷了。有的人並不是我的花兒，我只是恰好途徑了她的綻放。曾經有人說我是一個多情的人，可她永遠不會知道，我做出的每一個決定都熾熱而悲壯。所謂”慧極必傷，情深不壽；謙謙君子，溫潤如玉”，世人苦五毒者大抵如此。

04 好友頭像

分析好友頭像，從兩個方面來分析，第一，在這些好友頭像中，使用人臉頭像的好友比重有多大；第二，從這些好友頭像中，可以提取出哪些有價值的關鍵字。這裡需要根據HeadImgUrl欄位下載頭像到本地，然後透過騰訊優圖提供的人臉識別相關的API介面，檢測頭像圖片中是否存在人臉以及提取圖片中的標簽。其中，前者是分類彙總，我們使用餅圖來呈現結果；後者是對文字進行分析，我們使用詞雲來呈現結果。關鍵程式碼如下所示：

def analyseHeadImage(frineds):

# Init Path

basePath = os.path.abspath(‘.’)

baseFolder = basePath + ‘\\HeadImages\\’

if(os.path.exists(baseFolder) == False):

os.makedirs(baseFolder)

# Analyse Images

faceApi = FaceAPI()

use_face = 0

not_use_face = 0

image_tags = ”

for index in range(1,len(friends)):

friend = friends[index]

# Save HeadImages

imgFile = baseFolder + ‘\\Image%s.jpg’ % str(index)

imgData = itchat.get_head_img(userName = friend[‘UserName’])

if(os.path.exists(imgFile) == False):

with open(imgFile,‘wb’) as file:

file.write(imgData)

# Detect Faces

time.sleep(1)

result = faceApi.detectFace(imgFile)

if result == True:

use_face += 1

else:

not_use_face += 1

# Extract Tags

result = faceApi.extractTags(imgFile)

image_tags += ‘,’.join(list(map(lambda x:x[‘tag_name’],result)))

labels = [u‘使用人臉頭像’,u‘不使用人臉頭像’]

counts = [use_face,not_use_face]

colors = [‘red’,‘yellowgreen’,‘lightskyblue’]

plt.figure(figsize=(8,5), dpi=80)

plt.axes(aspect=1)

plt.pie(counts, #性別統計結果

labels=labels, #性別展示標簽

colors=colors, #餅圖區域配色

labeldistance = 1.1, #標簽距離圓點距離

autopct = ‘%3.1f%%’, #餅圖區域文字格式

shadow = False, #餅圖是否顯示陰影

startangle = 90, #餅圖起始角度

pctdistance = 0.6 #餅圖區域文字距離圓點距離

)

plt.legend(loc=‘upper right’,)

plt.title(u‘%s的微信好友使用人臉頭像情況’ % friends[0][‘NickName’])

plt.show()

image_tags = image_tags.encode(‘iso8859-1’).decode(‘utf-8’)

back_coloring = np.array(Image.open(‘face.jpg’))

wordcloud = WordCloud(

font_path=‘simfang.ttf’,

background_color=“white”,

max_words=1200,

mask=back_coloring,

max_font_size=75,

random_state=45,

width=800,

height=480,

margin=15

)

wordcloud.generate(image_tags)

plt.imshow(wordcloud)

plt.axis(“off”)

plt.show()

這裡我們會在當前目錄新建一個HeadImages目錄，用以儲存所有好友的頭像，然後我們這裡會用到一個名為FaceApi類，這個類由騰訊優圖的SDK封裝而來，這裡分別呼叫了人臉檢測和影象標簽識別兩個API介面，前者會統計”使用人臉頭像”和”不使用人臉頭像”的好友各自的數目，後者會累加每個頭像中提取出來的標簽。其分析結果如下圖所示：

可以註意到，在所有微信好友中，約有接近1/4的微信好友使用了人臉頭像，而有接近3/4的微信好友沒有人臉頭像，這說明在所有微信好友中對”顏值 “有自信的人，僅僅佔到好友總數的25%，或者說75%的微信好友行事風格偏低調為主，不喜歡用人臉頭像做微信頭像。這是否說明”好看的皮囊”並非是千篇一律，長得好看的人實在是少數中的少數。所以，當女生的妝容越來越向著”韓式半永久粗平眉”、”瓜子臉”和”大紅唇”靠攏的時候，當男生的服飾越來越向著”大背頭”、”高領毛衣”和”長款大衣”靠攏的時候，我們能不能真正得個性一次。生命中有太多被世俗綁架著的事情，既要和別人不一樣，同時還要和大多數人一樣，這是人生在世的無可奈何。考慮到騰訊優圖並不能真正得識別”人臉”，我們這裡對好友頭像中的標簽再次進行提取，來幫助我們瞭解微信好友的頭像中有哪些關鍵詞，其分析結果如圖所示：

透過詞雲，我們可以發現：在微信好友中的簽名詞雲中，出現頻率相對較高的關鍵字有：女孩、樹木、房屋、文字、截圖、卡通、合影、天空、大海。這說明在我的微信好友中，好友選擇的微信頭像主要有日常、旅遊、風景、截圖四個來源，好友選擇的微信頭像中風格以卡通為主，好友選擇的微信頭像中常見的要素有天空、大海、房屋、樹木。透過觀察所有好友頭像，我發現在我的微信好友中，使用個人照片作為微信頭像的有15人，使用網路圖片作為微信頭像的有53人，使用動漫圖片作為微信頭像的有25人，使用合照圖片作為微信頭像的有3人，使用孩童照片作為微信頭像的有5人，使用風景圖片作為微信頭像的有13人，使用女孩照片作為微信頭像的有18人，基本符合影象標簽提取的分析結果。

05 好友簽名

分析好友簽名，簽名是好友資訊中最為豐富的文字資訊，按照人類慣用的”貼標簽”的方法論，簽名可以分析出某一個人在某一段時間裡狀態，就像人開心了會笑、哀傷了會哭，哭和笑兩種標簽，分別表明瞭人開心和哀傷的狀態。這裡我們對簽名做兩種處理，第一種是使用用結巴分詞進行分詞後生成詞雲，目的是瞭解好友簽名中的關鍵字有哪些，哪一個關鍵字出現的頻率相對較高；第二種是使用SnowNLP分析好友簽名中的感情傾向，即好友簽名整體上是表現為正面的、負面的還是中立的，各自的比重是多少。這裡提取Signature欄位即可，其核心程式碼如下：

def analyseSignature(friends):

signatures = ”

emotions = []

pattern = re.compile(“1f\d.+”)

for friend in friends:

signature = friend[‘Signature’]

if(signature != None):

signature = signature.strip().replace(‘span’, ”).replace(‘class’, ”).replace(’emoji’, ”)

signature = re.sub(r‘1f(\d.+)’,”,signature)

if(len(signature)>0):

nlp = SnowNLP(signature)

emotions.append(nlp.sentiments)

signatures += ‘ ‘.join(jieba.analyse.extract_tags(signature,5))

with open(‘signatures.txt’,‘wt’,encoding=‘utf-8’) as file:

file.write(signatures)

# Sinature WordCloud

back_coloring = np.array(Image.open(‘flower.jpg’))

wordcloud = WordCloud(

font_path=‘simfang.ttf’,

background_color=“white”,

max_words=1200,

mask=back_coloring,

max_font_size=75,

random_state=45,

width=960,

height=720,

margin=15

)

wordcloud.generate(signatures)

plt.imshow(wordcloud)

plt.axis(“off”)

plt.show()

wordcloud.to_file(‘signatures.jpg’)

# Signature Emotional Judgment

count_good = len(list(filter(lambda x:x>0.66,emotions)))

count_normal = len(list(filter(lambda x:x>=0.33 and x<=0.66,emotions)))

count_bad = len(list(filter(lambda x:x<0.33,emotions)))

labels = [u‘負面消極’,u‘中性’,u‘正面積極’]

values = (count_bad,count_normal,count_good)

plt.rcParams[‘font.sans-serif’] = [‘simHei’]

plt.rcParams[‘axes.unicode_minus’] = False

plt.xlabel(u‘情感判斷’)

plt.ylabel(u‘頻數’)

plt.xticks(range(3),labels)

plt.legend(loc=‘upper right’,)

plt.bar(range(3), values, color = ‘rgb’)

plt.title(u‘%s的微信好友簽名資訊情感分析’ % friends[0][‘NickName’])

plt.show()

透過詞雲，我們可以發現：在微信好友的簽名資訊中，出現頻率相對較高的關鍵詞有：努力、長大、美好、快樂、生活、幸福、人生、遠方、時光、散步。果然我的微信好友都是溫暖、正直的好青年啊！ :smile:其實，簽名這個設定，從某種程度上是在反映人的一種心態，人在年輕時不免”為賦新詞強說愁”，等到你真正到了這個精神境界，突然發現年輕時圖樣圖森破，或許這就是我們不願意讓別人瞭解過去的原因，因為伴隨著人的成長，某一種瞬間的狀態簡直不忍直視，QQ空間陪伴了我們這代人的整個青春，令人印象深刻的”那年今日”功能，有時讓我們感到回憶的溫暖，有時讓我們感到歲月的蕭殺，”當時只道是尋常”的物是人非，”迴首向來蕭瑟處”的淡定從容，”今夕復何夕”的失落惆悵……都在這一行行簽名裡留下深深淺淺的印記。在知乎上有關於簽名的話題討論，對此感興趣的朋友不妨找時間看看。:smile:

透過柱狀圖，我們可以發現：在微信好友的簽名資訊中，正面積極的情感判斷約佔到55.56%，中立的情感判斷約佔到32.10%，負面消極的情感判斷約佔到12.35%。這個結果和我們透過詞雲展示的結果基本吻合，這說明在微信好友的簽名資訊中，約有87.66%的簽名資訊，傳達出來都是一種積極向上的態度。

朋友圈中基本上有兩類使用者，第一類使用者使用朋友圈記錄自己的生活，第二類使用者使用朋友圈輸出自己的觀點。顯然，對於第二類使用者，它並不介意別人瞭解它的過去，它更在乎它從始至終輸出的觀點是否一致。所以，不管朋友圈裡別人在或曬美食、或曬旅遊、或秀恩愛、或曬寶寶、或煲雞湯等等，在我看來這都是一種生活方式，精神層次和物質層次比你高的人群，覺得你朋友圈裡的內容”無趣”，這是符合人類一貫的認知方式的。

在大多數情況下，反而是那些和你層次差不多的人群，對不熟悉的人或者事物妄加判斷，如果你不喜歡我朋友圈裡的內容，請直接遮蔽我就好，因為這樣我們還可以做朋友；如果你因為喜歡A而在我這裡和我說B不好，這就真的是三觀不合啦。我相信沒有完全興趣匹配的兩個人，即使是男女朋友或者情侶之間，總之人與人相處嘛，真誠和互相尊重是基本要求。

06 好友位置

分析好友位置，主要透過提取Province和City這兩個欄位。Python中的地圖視覺化主要透過Basemap模組，這個模組需要從國外網站下載地圖資訊，使用起來非常的不便。百度的ECharts在前端使用的比較多，雖然社群裡提供了pyecharts專案，可我註意到因為政策的改變，目前Echarts不再支援匯出地圖的功能，所以地圖的定製方面目前依然是一個問題，主流的技術方案是配置全國各省市的JSON資料，這裡博主使用的是BDP個人版，這是一個零程式設計的方案，我們透過Python匯出一個CSV檔案，然後將其上傳到BDP中，透過簡單拖拽就可以製作視覺化地圖，簡直不能再簡單，這裡我們僅僅展示生成CSV部分的程式碼：

def analyseLocation(friends):

essay-headers = [‘NickName’,‘Province’,‘City’]

with open(‘location.csv’,‘w’,encoding=‘utf-8’,newline=”,) as csvFile:

writer = csv.DictWriter(csvFile, essay-headers)

writer.writeessay-header()

for friend in friends[1:]:

row = {}

row[‘NickName’] = friend[‘NickName’]

row[‘Province’] = friend[‘Province’]

row[‘City’] = friend[‘City’]

writer.writerow(row)

下圖是BDP中生成的微信好友地理分佈圖，可以發現：我的微信好友主要集中在寧夏和陝西兩個省份。數字時代的神經牽動著每一個社交關係鏈的人，我們想要竭力去保護的那點隱私，在這些資料中一點點地折射出來。人類或許可以不斷地偽裝自己，可這些從資料背後抽離出來的規律和聯絡不會欺騙人類。數學曾經被人稱為最沒有用的學科，因為生活中並不需要神聖而純粹的計算，在不同的學科知識裡，經驗公式永遠比理論公式更為常用。可是此時此刻，你看，這世界就像一隻滴滴答答轉動著的時鐘，每一分每一秒都是嚴絲合縫的。

07 本文小結

寫這篇文章的時候，我一直不知道該如何下筆，因為微信是一個神奇的存在，它是一個國民級別的全民APP，所以，微信的產品設計一直都是一個有趣的現象，從最初底部Tab的數目、每個Tab的名稱、”發現”頁面的定製、小程式入口、朋友圈入口到朋友圈評論等等一系列的設計細節，都是值得我們透過人性和心理去研究的。即使是被人們封神的”張小龍”，在面對結構最為複雜的中國使用者群體的時候，他的瀟灑中依舊不免充滿無奈，從對朋友圈的置之不理就可以看出，這是一個怎麼做都不會讓人滿意的功能，任何一個生態在面對巨大的使用者群體的時候，功能的增減就會變成一個難題，所謂”林子大了什麼鳥都有”，知乎面對的是同樣的問題，營銷類公眾號在不斷消費社會話題的同時，引導著一批又一批粉絲的價值取向，人類總渴望著別人瞭解自己，可人類真的瞭解自己嗎？這篇部落格是我對資料分析的又一次嘗試，主要從性別、頭像、簽名、位置四個維度，對微信好友進行了一次簡單的資料分析，主要採用圖表和詞雲兩種形式來呈現結果。總而言之一句話，”資料視覺化是手段而並非目的”，重要的不是我們在這裡做了這些圖出來，而是從這些圖裡反映出來的現象，我們能夠得到什麼本質上的啟示，我一位朋友問我怎麼什麼都想抓取，為什麼啊，因為我不懂人類啊！

來源：數盟

精彩活動

福利 · 閱讀 | 免費申請讀大資料新書第23期