使用Apache Spark分析豆瓣電影數據

上周在看豆瓣的時候，看到有豆列推薦類似豆瓣250的電影，剛好最近在學Berkeley 的Scalable Machine Learning這門課程，接觸了下Spark的基本的操作，然后就想要不然自己抓取豆瓣的電影數據來分析下。

本來是想實踐下豆瓣電影的推薦系統，想通過實際的數據來完成”Collaborative filtering”, 目前的第一步就是先獲取數據，這也是這篇博文的主要內容。如果有興趣的同學，后續可以一起來實現豆瓣電影的推薦系統。

數據抓取

整個過程比較麻煩的其實就是數據的抓取，雖然豆瓣有提供API來獲取某部電影的一些數據，但是前提是要知道這部電影的ID，而豆瓣又不提供這樣的API來獲取電影ID列表，所以才決定自己用Python來爬取基本的電影數據。主要是用requests和BeautifulSoup這兩個Python包來抓取和分析頁面。獲取電影頁面數據后進行解析，目前主要解析的下面十個字段：

- 電影名稱


電影的豆瓣ID
評分
上映時間
評論條數
觀看人數
想看人數
評價人數
IMDB的鏈接
豆瓣的鏈接</pre>

豆瓣對機器人訪問有比較大的限制，如果不限制抓取速度的話，爬蟲一打開就會被豆瓣封掉IP。測試了幾遍，發現每五秒鐘抓取一次頁面目前還不會被封掉。運行腳本大概一周后，抓取到了差不多52000條記錄。豆瓣的影庫數據應該遠遠大于這個數目，不過我是通過豆瓣的豆列來進行抓取，抓取的都是存在于某個豆列里面的電影，也就是說至少是被人推薦過一次的。所以基于這個數據，應該可以大概分析出豆瓣電影的一點點趨勢。 
使用Spark進行電影數據分析 
fileName1 = 'movie_db20150704_134611.csv'
numPartitions = 4
rawData1 = sc.textFile(fileName1, numPartitions)
header1 = rawData1.first() 
rawData1 = rawData1.filter(lambda x:x !=header) #filter out header




Spark在進行數據分析確實是比較方便快捷的，下面可以看到很容易就能夠獲取各種排名： 
評分最高的前50部電影(評論人數超過50000） 
topMovieswithRating = (data
                 .filter(lambda x: x[8]>50000)
                 .takeOrdered(50, lambda x: -1 * float(x[0])))</pre><br />






Title 
Rating 
Number of Comments 
Number of Wacthed 
Number of Want to Watch 
Number of Votes 
Douban Link 




肖申克的救贖 The Shawshank Redemption 
9.6 
141337 
842229 
56968 
623098 
link 


銀魂 銀魂 
9.6 
11139 
47974 
9124 
50448 
link 


權力的游戲 第四季 Game of Thrones Season 4 
9.6 
13739 
55192 
12245 
51858 
link 


老友記 第一季 Friends Season 1 
9.6 
20944 
124889 
16745 
101114 
link 


海賊王 ワンピース 
9.5 
8037 
41784 
6538 
56323 
link 


灌籃高手 スラムダンク 
9.5 
15340 
101749 
3039 
78928 
link 


神探夏洛克 第二季 Sherlock Season 2 
9.5 
45985 
173364 
12523 
153311 
link 


辛德勒的名單 Schindler’s List 
9.4 
46317 
382557 
87776 
275190 
link 


這個殺手不太冷 Léon 
9.4 
133055 
808799 
48445 
593659 
link 


阿甘正傳 Forrest Gump 
9.4 
100699 
739958 
38595 
524104 
link 


美麗人生 La vita è bella 
9.4 
69507 
388258 
99570 
288216 
link 


霸王別姬 
9.4 
106586 
575374 
52104 
426194 
link 


權力的游戲 第三季 Game of Thrones Season 3 
9.4 
17200 
72102 
14753 
65464 
link 


權力的游戲 第二季 Game of Thrones Season 2 
9.4 
17802 
83881 
11036 
74563 
link 


東京愛情故事 東京ラブストーリー 
9.4 
17612 
81242 
21844 
63821 
link 


泰坦尼克號 3D版 Titanic 3D 
9.4 
63975 
190092 
25596 
151764 
link 


生活大爆炸 第一季 The Big Bang Theory Season 1 
9.4 
27088 
184938 
17693 
161098 
link 


生活大爆炸 第二季 The Big Bang Theory Season 2 
9.4 
10843 
131561 
4067 
110995 
link 


十二怒漢 12 Angry Men 
9.3 
33913 
143237 
73021 
114034 
link 


機器人總動員 WALL·E 
9.3 
85602 
485283 
48864 
382396 
link 


權力的游戲 第一季 Game of Thrones Season 1 
9.3 
30249 
125542 
41429 
113192 
link 


海豚灣 The Cove 
9.3 
43600 
187693 
68444 
148785 
link 


黑鏡 第一季 Black Mirror Season 1 
9.3 
52316 
169298 
39010 
147980 
link 


回憶積木小屋 つみきのいえ 
9.3 
22996 
108642 
32253 
89460 
link 


哆啦A夢 ドラえもん 
9.3 
6621 
80673 
1049 
59935 
link 


生活大爆炸 第三季 The Big Bang Theory Season 3 
9.3 
11873 
118474 
5583 
105567 
link 


西游記 
9.3 
6912 
67233 
315 
51874 
link 


盜夢空間 Inception 
9.2 
162115 
753827 
73145 
584052 
link 


教父 The Godfather 
9.2 
46951 
347332 
79670 
249151 
link 


放牛班的春天 Les choristes 
9.2 
70184 
457118 
57539 
336110 
link 


亂世佳人 Gone with the Wind 
9.2 
43536 
296995 
56178 
207966 
link 


忠犬八公的故事 Hachi: A Dog’s Tale 
9.2 
97523 
402329 
46032 
310311 
link 


海上鋼琴師 La leggenda del pianista sull’oceano 
9.2 
98015 
626772 
63889 
458728 
link 


越獄 第一季 Prison Break Season 1 
9.2 
18390 
137942 
7021 
101062 
link 


大鬧天宮 
9.2 
8253 
93822 
12303 
64411 
link 


父與女 Father and Daughter 
9.2 
11727 
63925 
18511 
50776 
link 


千與千尋 千と千尋の神隠し 
9.2 
90802 
644317 
31794 
472642 
link 


越獄兔 第一季 ウサビッチ 
9.2 
12098 
78612 
10757 
64103 
link 


暴力云與送子鸛 Partly Cloudy 
9.2 
15022 
90791 
14291 
73383 
link 


傲慢與偏見 Pride and Prejudice 
9.2 
17526 
87239 
23093 
65799 
link 


夏目友人帳 夏目友人帳 
9.2 
16190 
71643 
13820 
63324 
link 


深夜食堂 
9.2 
22940 
79537 
41841 
72377 
link 


神探夏洛克 第一季 Sherlock Season 1 
9.2 
54122 
205429 
17410 
181560 
link 


唐頓莊園 第一季 Downton Abbey Season 1 
9.2 
22512 
87749 
25736 
77411 
link 


調音師 L’accordeur 
9.2 
26876 
119673 
26648 
96166 
link 


舌尖上的中國 
9.2 
26079 
96489 
22151 
87629 
link 


生活大爆炸 第四季 The Big Bang Theory Season 4 
9.2 
13263 
103311 
8486 
91161 
link 


勝者即是正義 リーガル?ハイ 
9.2 
28175 
80048 
20073 
73679 
link 


三傻大鬧寶萊塢 3 Idiots 
9.1 
151969 
638544 
40899 
497801 
link 


七武士 七人の侍 
9.1 
12463 
70214 
44283 
51947 
link 



觀看人數最多的前五十部電影 



Title 
Rating 
Number of Comments 
Number of Wacthed 
Number of Want to Watch 
Number of Votes 
Douban Link 




肖申克的救贖 The Shawshank Redemption 
9.6 
141337 
842229 
56968 
623098 
link 


這個殺手不太冷 Léon 
9.4 
133055 
808799 
48445 
593659 
link 


盜夢空間 Inception 
9.2 
162115 
753827 
73145 
584052 
link 


阿甘正傳 Forrest Gump 
9.4 
100699 
739958 
38595 
524104 
link 


泰坦尼克號 Titanic 
9.1 
84893 
683080 
15375 
486089 
link 


讓子彈飛 
8.7 
135963 
644641 
30064 
497060 
link 


千與千尋 千と千尋の神隠し 
9.2 
90802 
644317 
31794 
472642 
link 


三傻大鬧寶萊塢 3 Idiots 
9.1 
151969 
638544 
40899 
497801 
link 


海上鋼琴師 La leggenda del pianista sull’oceano 
9.2 
98015 
626772 
63889 
458728 
link 


霸王別姬 
9.4 
106586 
575374 
52104 
426194 
link 


當幸福來敲門 The Pursuit of Happyness 
8.9 
80895 
560865 
44578 
410343 
link 


少年派的奇幻漂流 Life of Pi 
9.0 
170423 
544637 
61950 
446159 
link 


阿凡達 Avatar 
8.6 
100838 
541716 
34928 
417663 
link 


那些年，我們一起追的女孩 那些年，我們一起追的女孩 
8.2 
151908 
536664 
43994 
411410 
link 


天使愛美麗 Le fabuleux destin d’Amélie Poulain 
8.8 
83473 
533739 
56960 
381583 
link 


剪刀手愛德華 Edward Scissorhands 
8.7 
73052 
530747 
50151 
380842 
link 


飛屋環游記 Up 
8.9 
91588 
499169 
49408 
387636 
link 


機器人總動員 WALL·E 
9.3 
85602 
485283 
48864 
382396 
link 


怦然心動 Flipped 
8.9 
127491 
481393 
99656 
374024 
link 


初戀這件小事 ???????????????????????…??? 
8.3 
121641 
467763 
29490 
350104 
link 


七宗罪 Se7en 
8.7 
61485 
460708 
55663 
340300 
link 


放牛班的春天 Les choristes 
9.2 
70184 
457118 
57539 
336110 
link 


人再囧途之泰囧 
7.5 
145311 
448220 
22759 
370422 
link 


大話西游之大圣娶親 西遊記大結局之仙履奇緣 
9.1 
58615 
445066 
13452 
323383 
link 


貧民窟的百萬富翁 Slumdog Millionaire 
8.5 
49011 
436343 
32068 
322084 
link 


失戀33天 
7.4 
118477 
430269 
18114 
328205 
link 


龍貓 となりのトトロ 
9.1 
64942 
428001 
34193 
310626 
link 


羅馬假日 Roman Holiday 
8.9 
55419 
421273 
40473 
293538 
link 


搏擊俱樂部 Fight Club 
9.0 
79860 
418418 
71950 
319263 
link 


黑天鵝 Black Swan 
8.5 
97531 
418196 
62953 
320245 
link 


楚門的世界 The Truman Show 
8.9 
65797 
411014 
57051 
310292 
link 


忠犬八公的故事 Hachi: A Dog’s Tale 
9.2 
97523 
402329 
46032 
310311 
link 


大話西游之月光寶盒 西遊記第壹佰零壹回之月光寶盒 
8.9 
32830 
395863 
7966 
280776 
link 


源代碼 Source Code 
8.3 
92760 
394414 
46747 
313237 
link 


本杰明·巴頓奇事 The Curious Case of Benjamin Button 
8.7 
62409 
393735 
52367 
302425 
link 


無間道 無間道 
8.9 
40211 
392606 
13778 
278945 
link 


蝴蝶效應 The Butterfly Effect 
8.6 
60909 
390474 
51039 
290347 
link 


美麗人生 La vita è bella 
9.4 
69507 
388258 
99570 
288216 
link 


辛德勒的名單 Schindler’s List 
9.4 
46317 
382557 
87776 
275190 
link 


情書 Love Letter 
8.8 
69072 
379806 
67039 
271368 
link 


北京遇上西雅圖 
7.4 
125144 
373645 
30896 
307679 
link 


V字仇殺隊 V for Vendetta 
8.8 
81751 
373608 
66266 
296830 
link 


沉默的羔羊 The Silence of the Lambs 
8.7 
44675 
361751 
45509 
259880 
link 


后會無期 
7.2 
142335 
359491 
34967 
319570 
link 


穿普拉達的女王 The Devil Wears Prada 
7.9 
45481 
355724 
16998 
259046 
link 


兩小無猜 Jeux d’enfants 
8.2 
74602 
352503 
78859 
260382 
link 


加勒比海盜 Pirates of the Caribbean: The Curse of the Black Pearl 
8.5 
29434 
350664 
9678 
249799 
link 


致我們終將逝去的青春 
6.7 
137377 
349601 
28867 
292338 
link 


教父 The Godfather 
9.2 
46951 
347332 
79670 
249151 
link 


星際穿越 Interstellar 
9.1 
133645 
345946 
48357 
308697 
link 



評分人數最多的前五十部電影 



Title 
Rating 
Number of Comments 
Number of Wacthed 
Number of Want to Watch 
Number of Votes 
Douban Link 




肖申克的救贖 The Shawshank Redemption 
9.6 
141337 
842229 
56968 
623098 
link 


這個殺手不太冷 Léon 
9.4 
133055 
808799 
48445 
593659 
link 


盜夢空間 Inception 
9.2 
162115 
753827 
73145 
584052 
link 


阿甘正傳 Forrest Gump 
9.4 
100699 
739958 
38595 
524104 
link 


三傻大鬧寶萊塢 3 Idiots 
9.1 
151969 
638544 
40899 
497801 
link 


讓子彈飛 
8.7 
135963 
644641 
30064 
497060 
link 


泰坦尼克號 Titanic 
9.1 
84893 
683080 
15375 
486089 
link 


千與千尋 千と千尋の神隠し 
9.2 
90802 
644317 
31794 
472642 
link 


海上鋼琴師 La leggenda del pianista sull’oceano 
9.2 
98015 
626772 
63889 
458728 
link 


少年派的奇幻漂流 Life of Pi 
9.0 
170423 
544637 
61950 
446159 
link 


霸王別姬 
9.4 
106586 
575374 
52104 
426194 
link 


阿凡達 Avatar 
8.6 
100838 
541716 
34928 
417663 
link 


那些年，我們一起追的女孩 那些年，我們一起追的女孩 
8.2 
151908 
536664 
43994 
411410 
link 


當幸福來敲門 The Pursuit of Happyness 
8.9 
80895 
560865 
44578 
410343 
link 


飛屋環游記 Up 
8.9 
91588 
499169 
49408 
387636 
link 


機器人總動員 WALL·E 
9.3 
85602 
485283 
48864 
382396 
link 


天使愛美麗 Le fabuleux destin d’Amélie Poulain 
8.8 
83473 
533739 
56960 
381583 
link 


剪刀手愛德華 Edward Scissorhands 
8.7 
73052 
530747 
50151 
380842 
link 


怦然心動 Flipped 
8.9 
127491 
481393 
99656 
374024 
link 


人再囧途之泰囧 
7.5 
145311 
448220 
22759 
370422 
link 


初戀這件小事 ???????????????????????…??? 
8.3 
121641 
467763 
29490 
350104 
link 


七宗罪 Se7en 
8.7 
61485 
460708 
55663 
340300 
link 


放牛班的春天 Les choristes 
9.2 
70184 
457118 
57539 
336110 
link 


失戀33天 
7.4 
118477 
430269 
18114 
328205 
link 


大話西游之大圣娶親 西遊記大結局之仙履奇緣 
9.1 
58615 
445066 
13452 
323383 
link 


貧民窟的百萬富翁 Slumdog Millionaire 
8.5 
49011 
436343 
32068 
322084 
link 


黑天鵝 Black Swan 
8.5 
97531 
418196 
62953 
320245 
link 


后會無期 
7.2 
142335 
359491 
34967 
319570 
link 


搏擊俱樂部 Fight Club 
9.0 
79860 
418418 
71950 
319263 
link 


源代碼 Source Code 
8.3 
92760 
394414 
46747 
313237 
link 


龍貓 となりのトトロ 
9.1 
64942 
428001 
34193 
310626 
link 


忠犬八公的故事 Hachi: A Dog’s Tale 
9.2 
97523 
402329 
46032 
310311 
link 


楚門的世界 The Truman Show 
8.9 
65797 
411014 
57051 
310292 
link 


星際穿越 Interstellar 
9.1 
133645 
345946 
48357 
308697 
link 


北京遇上西雅圖 
7.4 
125144 
373645 
30896 
307679 
link 


本杰明·巴頓奇事 The Curious Case of Benjamin Button 
8.7 
62409 
393735 
52367 
302425 
link 


V字仇殺隊 V for Vendetta 
8.8 
81751 
373608 
66266 
296830 
link 


羅馬假日 Roman Holiday 
8.9 
55419 
421273 
40473 
293538 
link 


致我們終將逝去的青春 
6.7 
137377 
349601 
28867 
292338 
link 


蝴蝶效應 The Butterfly Effect 
8.6 
60909 
390474 
51039 
290347 
link 


西游降魔篇 西遊降魔篇 
7.1 
127261 
343244 
20300 
289856 
link 


中國合伙人 
7.7 
122422 
344302 
28713 
289551 
link 


美麗人生 La vita è bella 
9.4 
69507 
388258 
99570 
288216 
link 


大話西游之月光寶盒 西遊記第壹佰零壹回之月光寶盒 
8.9 
32830 
395863 
7966 
280776 
link 


瘋狂原始人 The Croods 
8.8 
103628 
334933 
40483 
280235 
link 


無間道 無間道 
8.9 
40211 
392606 
13778 
278945 
link 


辛德勒的名單 Schindler’s List 
9.4 
46317 
382557 
87776 
275190 
link 


神偷奶爸 Despicable Me 
8.5 
77588 
342700 
45520 
273572 
link 


情書 Love Letter 
8.8 
69072 
379806 
67039 
271368 
link 


志明與春嬌 志明與春嬌 
8.0 
78814 
342365 
40588 
262890 
link 



評論人數最多的前五十部電影 



Title 
Rating 
Number of Comments 
Number of Wacthed 
Number of Want to Watch 
Number of Votes 
Douban Link 




少年派的奇幻漂流 Life of Pi 
9.0 
170423 
544637 
61950 
446159 
link 


盜夢空間 Inception 
9.2 
162115 
753827 
73145 
584052 
link 


三傻大鬧寶萊塢 3 Idiots 
9.1 
151969 
638544 
40899 
497801 
link 


那些年，我們一起追的女孩 那些年，我們一起追的女孩 
8.2 
151908 
536664 
43994 
411410 
link 


人再囧途之泰囧 
7.5 
145311 
448220 
22759 
370422 
link 


后會無期 
7.2 
142335 
359491 
34967 
319570 
link 


肖申克的救贖 The Shawshank Redemption 
9.6 
141337 
842229 
56968 
623098 
link 


致我們終將逝去的青春 
6.7 
137377 
349601 
28867 
292338 
link 


讓子彈飛 
8.7 
135963 
644641 
30064 
497060 
link 


星際穿越 Interstellar 
9.1 
133645 
345946 
48357 
308697 
link 


這個殺手不太冷 Léon 
9.4 
133055 
808799 
48445 
593659 
link 


怦然心動 Flipped 
8.9 
127491 
481393 
99656 
374024 
link 


西游降魔篇 西遊降魔篇 
7.1 
127261 
343244 
20300 
289856 
link 


北京遇上西雅圖 
7.4 
125144 
373645 
30896 
307679 
link 


中國合伙人 
7.7 
122422 
344302 
28713 
289551 
link 


初戀這件小事 ???????????????????????…??? 
8.3 
121641 
467763 
29490 
350104 
link 


失戀33天 
7.4 
118477 
430269 
18114 
328205 
link 


小時代 
4.8 
110064 
248393 
15791 
214488 
link 


霸王別姬 
9.4 
106586 
575374 
52104 
426194 
link 


瘋狂原始人 The Croods 
8.8 
103628 
334933 
40483 
280235 
link 


一代宗師 一代宗師 
7.6 
102798 
266748 
33413 
220646 
link 


阿凡達 Avatar 
8.6 
100838 
541716 
34928 
417663 
link 


阿甘正傳 Forrest Gump 
9.4 
100699 
739958 
38595 
524104 
link 


金陵十三釵 
8.0 
100207 
320259 
23262 
262469 
link 


環太平洋 Pacific Rim 
7.7 
99771 
245275 
20924 
212646 
link 


云圖 Cloud Atlas 
8.0 
98048 
282090 
68646 
233508 
link 


海上鋼琴師 La leggenda del pianista sull’oceano 
9.2 
98015 
626772 
63889 
458728 
link 


黑天鵝 Black Swan 
8.5 
97531 
418196 
62953 
320245 
link 


忠犬八公的故事 Hachi: A Dog’s Tale 
9.2 
97523 
402329 
46032 
310311 
link 


超能陸戰隊 Big Hero 6 
8.6 
97143 
250191 
26722 
222573 
link 


復仇者聯盟 The Avengers 
8.0 
95426 
303732 
27233 
250229 
link 


源代碼 Source Code 
8.3 
92760 
394414 
46747 
313237 
link 


飛屋環游記 Up 
8.9 
91588 
499169 
49408 
387636 
link 


千與千尋 千と千尋の神隠し 
9.2 
90802 
644317 
31794 
472642 
link 


告白 
8.6 
89816 
305822 
53544 
245370 
link 


春嬌與志明 春嬌與志明 
7.4 
89322 
284180 
18987 
219765 
link 


一天 One Day 
7.8 
88567 
294199 
73357 
226476 
link 


地心引力 Gravity 
7.8 
88240 
231236 
32028 
199942 
link 


觸不可及 Intouchables 
9.1 
86407 
317155 
96935 
256223 
link 


冰雪奇緣 Frozen 
8.3 
85908 
244021 
22337 
211905 
link 


機器人總動員 WALL·E 
9.3 
85602 
485283 
48864 
382396 
link 


泰坦尼克號 Titanic 
9.1 
84893 
683080 
15375 
486089 
link 


王牌特工：特工學院 Kingsman: The Secret Service 
8.5 
84815 
209221 
35782 
187950 
link 


消失的愛人 Gone Girl 
8.7 
84207 
222242 
66274 
193293 
link 


蝙蝠俠：黑暗騎士崛起 The Dark Knight Rises 
8.5 
83863 
270297 
32502 
220967 
link 


天使愛美麗 Le fabuleux destin d’Amélie Poulain 
8.8 
83473 
533739 
56960 
381583 
link 


搜索 
7.3 
82944 
230973 
13953 
189159 
link 


V字仇殺隊 V for Vendetta 
8.8 
81751 
373608 
66266 
296830 
link 


了不起的蓋茨比 The Great Gatsby 
7.6 
81670 
240879 
63554 
200915 
link 


當幸福來敲門 The Pursuit of Happyness 
8.9 
80895 
560865 
44578 
410343 
link 



后續 
希望能夠和在學習machine leaning的同學們一起來實現下豆瓣電影的推薦系統，更詳細的了解”Collaborative filtering“ 的實現。 目前雖然抓取了一些數據，但是還是遠遠不夠： 

目前僅抓取的公開的電影數據，已經有了五萬多條，但是還是不夠多，而且屬性列也還不夠 
還無法抓取單個用戶的評分數據， 這個還需想辦法 

</div>
來自：http://www.robinliu.net/2015/07/11/douban/