一、工具

1. 數據抓取

最初是打算使用openhub.net的Open API的，他們有不錯的API，還在Github上放了一個開源項目。只可惜，他們的API，最多申請5個API Key，每個Key明天的訪問請求數量，不能超過1000次。當時我還不知道，其實openhub的數據只有28萬多，還以為滿打滿算，至少得60多天才能全部抓完，頓時心就涼了。

后來有朋友介紹了一個很棒的直接抓取HTML頁面，然后做DOM分析的工具，名叫noodle。

接下來，只要抓取： https://www.openhub.net/p?ref=homepage&q=&page={num}
就能夠拿到所有項目的概要數據了。

當然，后續的331個項目的明細數據，還是得通過OpenHub的API來抓取。

2. 數據分析

完全是土法上馬：sqlite3+numbers+csv+ruby，反正各種手法，什么稱手用什么。

3. 數據展示

原本是打算在numbers里想想辦法的，后來發現實在太弱。Excel也差不多，只能到網上搜索一些信息圖制作的工具，后來找到了幾個不錯的在線工具，經過一番比較，最后決定用infogr.am來完成。的確非常不錯。

二、釋疑：項目大小與創建時間的關系

我與@云風 在微博上有一小段討論，起因還是我之前的一些分析的觀點：

• 是否使用Github，越是新的項目越愿意用；越是大的項目越沒法用。
• 是否使用Github來管理項目的issue，越是新的項目越愿意用；越是大的項目越沒法用。

這個結論，其實在用詞上，是有些講究的：按理說，新與老相對，小與大相對；愿意與不愿意相對，能用與沒法用相對，我的兩個結論，對仗都不公整。其實，確實故意為之。

于是，云風與我的對話如下：
云風：項目規模和項目歷史本身有相關性吧。代碼規模越大的項目歷史很可能越久。
我：項目的規模，主要還是與項目本身的特性有關。原本就復雜的項目，才可能越長越大。原本就是小項目，也未必就會穩定的逐年增長。
云風：這只能說明小項目可以歷史久，不能說明大項目可以歷史短啊。很少有新項目一開始就很大啊。代碼也是一行行寫出來的啊。
我：那就是成長速度不同了。比如OpenStack，一開始就不小。
云風：一開始就不小只能說閉源開發過一段時間，或從別的地方搬遷過來的吧。你能想象不被版本管理工具管理的情況下，首次提交 10 萬行以上的代碼？看這個 link 提交日志寫的 initial fork out of nova。

后來，我也沒有再繼續這個討論，但是卻一直在思考這個問題：「項目的大小，與項目的創建時間，究竟有大少相關性？」

后來，我將兩個數據，做了一個分析：Log(第一次提交代碼，至今的天數)/Log(代碼行數)，大概得到如下一個圖：

經過強大的Excel的計算，兩個數據的相關系數，大約是0.203的樣子，也就是說：大致上有較弱的正相關。

三、開源

目前，我已經將這個分析的相關數據，放在Github上開源了。簡單介紹一下：

data.sqlite3.zip 是28萬基礎數據
projects.sqlite3 是331個項目的詳細數據
projects.csv 是我用來做數據分析的大表格

四、名單

331一個開源項目，名單如下：