復仇者聯盟誰才是絕對 C 位？Python分析9萬條數據告訴你答案

shiweifu 發布于2019-07-31 10:23 / 2575人閱讀

摘要：數據庫文件已經超過了了。復聯從開始便是漫威宇宙各路超級英雄的集結，到現在的第部，更是全英雄的匯聚。所以，滅霸出現的次數居然高于了鋼鐵俠。情感分析，又稱為意見挖掘傾向性分析等。

作者 | 羅昭成
責編 | 唐小引

《復聯 4》國內上映第十天，程序員的江湖里開始流傳這樣一個故事，即：漫威宇宙，其實就講了一件事情。整個宇宙就好比一個項目組。其中有一群叫作美國隊長、鋼鐵俠、驚奇隊長、浩克、索爾等人在維護這個項目，兢兢業業的維護整個項目。

某一天，出現了一個天才程序員，叫滅霸。當他加入到這家公司的時候，他意識到，這個項目已經非常龐大，僅僅是編譯，就要幾個小時。運行起來負重累累。而服務器資源又非常的有限，老板又不給預算買新機器，如果一直繼續這么開發下去，這個項目遲早要出現 P0 事故。于是，他下定決定要把這個項目全面優化，使用用面向對象思想，提取重復代碼，業務拆分，算法優化等手段，徹底優化，目標是代碼量減少 50%。

美國隊長帶領的項目組叫復仇者聯盟，發現了滅霸程序員的想法后，阻止并警告滅霸說：不要輕易去改老代碼！！很容易出 bug 的，代碼能跑就行！！

—— 以上來自知乎@郭啟軍那么，作為一個寫程序員的電影，我們怎么不能用數據來分析一下，喜歡漫威宇宙的觀眾對《復聯 4》的評價呢？

01抓取數據

業界朋友們，在電影分析中，使用貓眼的數據比較多。在本文中，筆者也使用了貓眼的接口來獲取數據，方便處理，數據量也比較多。有關接口，大家可以自己去貓眼的網站上看，也可以使用如下地址：

在 Python 中，使用 Request 可以很方便地發送請求，拿到接口返回的 JSON 數據，來看代碼：

請求返回的是一個 JSON 數據，拿到我們想要的評論原始數據，并將數據存儲在數據庫中：

經過大概兩個小時，終于從貓眼爬取了大約 9 萬條數據。數據庫文件已經超過了 100M 了。

02數據清洗

因為在上面抓取下來的數據，直接進行了原數據的存儲，沒有進行數據的解析處理。接口中包含了很多數據，有用戶信息、評論信息等。本次分析，只使用了部分數據，所以需要將用到的相關數據清洗出來：

通過 JSON 庫將原始數據解析出來，將我們需要的信息存儲到新的數據表中。

03數據分析

因為沒有任何一個平臺能夠拿到用戶的購票數據，我們只能從評論的數據中，以小見大，從這些數據中，分析出一些走勢。在評論數據中，我們能看到評論用戶所在的城市。將數據所在的位置解析，劃分到各對應的行政省，可以看到每個省評論數量，見下圖（顏色越紅，用戶評論數量越多）：

城市從圖中可以看到，上海、廣州、四川用戶的數量顯然要比其他城市的用戶數量要多得多。再來看一下代碼：

漫威電影一直深受中國朋友們喜歡的高分電影。豆瓣評分 8.7 分，那我們的評論用戶中，又是一個什么樣的趨勢呢？見下圖：

評分數從圖中可以看到，評 5 分的數量遠高于其他評分，可見中國的觀眾朋友確實喜歡漫威的科幻電影。復聯從 1 開始便是漫威宇宙各路超級英雄的集結，到現在的第 4 部，更是全英雄的匯聚。那么，在這之中，哪位英雄人物更受觀眾歡迎？先看代碼：

運行結果如下圖，可以看到鋼鐵俠鋼鐵俠是實至名歸的 C 位，不僅電影在電影中是，在評論區仍然也是實至名歸的 C 位，甚至于遠超美隊、寡姐和雷神：

英雄評論次數從以上觀眾分布和評分的數據可以看到，這一部劇，觀眾朋友還是非常地喜歡。前面，從貓眼拿到了觀眾的評論數據。現在，筆者將通過 Jieba 把評論進行分詞，然后通過 Wordcloud 制作詞云，來看看，觀眾朋友們對《復聯》的整體評價：

詞云分析可以看到，滅霸和鋼鐵俠出現的詞頻比其他英雄要高很多。這是否表示，這部劇的主角就是他們兩個呢？細心的朋友應該發現了，鋼鐵俠、滅霸的數量在詞云和評論數量里面不一致。原因在于，評論數量就按評論條數來統計的，而詞云中，使用的是詞頻，同一條評論中，多次出現會多次統計。所以，滅霸出現的次數居然高于了鋼鐵俠。最后，再來分析一下鋼鐵俠與滅霸的情感分析，先上代碼：

此處，使用 SnowNLP 來進行情感分析。情感分析，又稱為意見挖掘、傾向性分析等。簡單而言，是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。

鋼鐵俠從圖中看到，鋼鐵俠的正向情感要比滅霸的正向情感要高，反派角色就是容易被人抗拒。

最最后，從《銀河護衛隊》時期穿越而來的滅霸在最后分鐘變成了粉末消散而去，這也給我們程序員一個警鐘：

重構代碼，改善設計，降低系統復雜度，這樣做很好。但是，一定要保證系統的穩定運行，不留安全隱患，不然，早晚會丟掉自己的工作。

GPU云服務器云服務器告訴你我告訴你官網我告訴你msdn官網 msdn我告訴你官網

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43734.html

從數據上看：誰才是漫威的絕對C位

摘要：據說此部之后，不少影迷熟知的角色演員就要離開漫威世界的熒幕了。換句話說用數據說話，誰才是漫威宇宙中著墨最多的人物我之前做了個小調查僅就我這邊的采樣來看，鋼鐵俠在國內是無法撼動的人氣王。復聯4上映了！這次比美國還早了兩天。當然，我還沒看，不會給你們劇透，當然也不想不劇透。這一部不僅是滅霸這一線劇情的結局，也被認為漫威第三階段的收官之作。據說此部之后，不少影迷熟知的角色（演員）就要離開...

RancherLabs 2019-07-31 10:20 評論0 收藏0
2018電影票房分析-誰才是票房之王

摘要：另外由于豆瓣上一些電影評分數量太少而不顯示，所以這里的電影數量會和票房數量有所差異。月度票房將類型片的票房按月劃分，得到了這張圖。去年末的時候，我招收了新的實訓生。本文是其中一位 @齊大圣同學在實訓兩個月時完成的項目案例。（碼上行動群里同學應該都看過這個名字，現在也是助教之一。）項目最初的想法是，從互聯網上的公開信息中采集2018年在國內上映電影的票房、評分、類型、演員等信息...

stormjun 2019-07-31 10:17 評論0 收藏0
Python 分析誰才是《權力的游戲第八季》真正的C位？

摘要：上個禮拜權力的游戲第八季放出大結局，最終的結果布蘭登上了鐵王座。第二位臨冬城史塔克家族的城堡。第二位是什么都不懂的雪諾。第三位是白手起家最后又被騙的龍媽。 showImg(http://upload-images.jianshu.io/upload_images/13825820-995fbee837346456.jpg?imageMogr2/auto-orient/strip%7Ci...

LiangJ 2019-07-31 10:30 評論0 收藏0