Python 不是 C

jopen 9年前發布 | 14K 次閱讀 Python

我一直使用 Python，用它處理各種數據科學項目。 Python 以易用聞名。有編碼經驗者學習數天就能上手（或有效使用它）。

聽起來很不錯，不過，如果你既用 Python，同時也是用其他語言，比如說 C 的話，或許會存在一些問題。

給你舉個我自己經歷的例子吧。我精通命令式語言，如 C 和 C++。對古老經典的語言如 Lisp 和 Prolog 能熟練使用。另外，我也用過 Java，Javascript 和 PHP 一段時間。（那么，學習） Python 對我來講不是很簡單嗎？事實上，只是看起來容易，我給自己挖了個坑：我像用 C 一樣去用 Python。

具體情況，請向下看。

一個最近的項目中，需要處理地理空間數據。給出（任務）是 gps 追蹤 25,000 個左右位置點，需要根據給定的經緯度，重復定位距離最短的點。我第一反應是，翻查（已經實現的）計算已知經緯度兩點間距離的代碼片段。代碼可以在 John D. Cook 寫的這篇 code available in the public domain 中找得到。

萬事俱備! 只要寫一段 Python 函數，返回與輸入坐標距離最短的點索引（25,000 點數組中的索引），就萬事大吉了：

def closest_distance(lat,lon,trkpts):
    d = 100000.0
    best = -1
    r = trkpts.index
    for i in r:
        lati = trkpts.ix[i,'Lat']
        loni = trkpts.ix[i,'Lon']
        md = distance_on_unit_sphere(lat, lon, lati, loni)
        if d > md
            best = i
            d = md
    return best

其中， distance_on_unit_sphere 是 John D. Cook's 書中的函數，trkpts 是數組，包含 gps 追蹤的點坐標（實際上，是 pandas 中的數據幀，注，pandas 是 python 第三方數據分析擴展包）。

上述函數與我以前用 C 實現的函數基本相同。它遍歷（迭代）trkpts 數組，將迄今為止（距離給定坐標位置）的距離最短的點索引值，保存到本地變量 best 中。

目前為止，情況還不錯，雖然 Python 語法與 C 有很多差別，但寫這段代碼，并沒有花去我太多時間。

代碼寫起來快，但執行起來卻很慢。例如，我指定428 個點，命名為waypoints（導航點，路點，導航路線中的關鍵點）。導航時，我要為每個導航點 waypoint 找出距離最短的點。為 428 個導航點 waypoint 查找距離最短點的程序，在我的筆記本上運行了 3 分 6 秒。

之后，我改為查詢計算曼哈坦距離，這是近似值。我不再計算兩點間的精確距離，而是計算東西軸距離和南北軸距離。計算曼哈坦距離的函數如下:

def manhattan_distance(lat1, lon1, lat2, lon2):
lat = (lat1+lat2)/2.0
return abs(lat1-lat2)+abs(math.cos(math.radians(lat))*(lon1-lon2))

實際上，我用了一個更簡化的函數，忽略一個因素，即維度曲線上 1 度差距比經度曲線上的 1 度差距要大得多。簡化函數如下：

def manhattan_distance1(lat1, lon1, lat2, lon2):
return abs(lat1-lat2)+abs(lon1-lon2)

closest 函數修改為:

def closest_manhattan_distance1(lat,lon,trkpts):
    d = 100000.0
    best = -1
    r = trkpts.index
    for i in r:
        lati = trkpts.ix[i,'Lat']
        loni = trkpts.ix[i,'Lon']
        md = manhattan_distance1(lat, lon, lati, loni)
        if d > md
            best = i
            d = md
    return best

如果將 Manhattan_distance 函數體換進來，速度還可以快些：

def closest_manhattan_distance2(lat,lon,trkpts):
    d = 100000.0
    best = -1
    r = trkpts.index
    for i in r:
        lati = trkpts.ix[i,'Lat']
        loni = trkpts.ix[i,'Lon']
        md = abs(lat-lati)+abs(lon-loni)
        if d > md
            best = i
            d = md
    return best

在計算的最短距離點上，用這個函數與用 John's 的函數效果相同。我希望我的直覺是對的。越簡單就越快。現在這個程序用了 2 分 37 秒。提速了 18%。很好，但還不夠激動人心。

我決定正確使用 Python。這意味著要利用 pandas 支持的數組運算。這些數組運算操作源于 numpy 包。通過調用這些數組操作，代碼實現更簡練：

def closest(lat,lon,trkpts):
cl = numpy.abs(trkpts.Lat - lat) + numpy.abs(trkpts.Lon - lon)
return cl.idxmin()

該函數與之前函數的返回結果相同。在我的筆記本上運行時間花費了 0.5 秒。整整快了 300 倍! 300 倍，,也即30,000 %。不可思議。提速的原因是 numpy 數組操作運算用 C 實現。因此，我們將最好的兩面結合起來了：我們得到 C 的速度和 Python 的簡潔性。

教訓很明確：別用 C 的方式寫 Python 代碼。用 numpy 數組運算，不要用數組遍歷。對我來說，這是思維上的轉變。

Update on July 2, 2015。文章討論在Hacker News。一些評論沒有注意到（missed ）我用到了 pandas 數據幀的情況。主要是它在數據分析中很常用。如果我只是要快速的查詢最短距離點，且我時間充分，我可以使用 C 或 C++ 編寫四叉樹（實現）。

Second update on July 2, 2015。有個評論提到 numba 也能對代碼提速。我就試了一下。

這是我的做法，與你的情況不一定相同。首先，要說明的是，不同的 python 安裝版，實驗的結果不一定相同。我的實驗環境是 windows 系統上安裝 Anaconda，同時也安裝了一些擴展包。可能這些包和 numba 存在干擾。.

首先，輸入下面的安裝命令，安裝 numba：

$ conda install numba

這是我命令行界面上的反饋：

之后我發現，numba 在 anaconda 安裝套件中已存在。也可能安裝指令有變更也說不定。

推薦的 numba 用法：

@jit
def closest_func(lat,lon,trkpts,func):
    d = 100000.0
    best = -1
    r = trkpts.index
    for i in r:
        lati = trkpts.ix[i,'Lat']
        loni = trkpts.ix[i,'Lon']
        md = abs(lat - lati) + abs(lon - loni)
        if d > md:
            #print d, dlat, dlon, lati, loni
            best = i
            d = md
    return best

我沒有發現運行時間提高。我也嘗試了更積極的編譯參數設置：

@jit(nopython=True)
def closest_func(lat,lon,trkpts,func):
    d = 100000.0
    best = -1
    r = trkpts.index
    for i in r:
        lati = trkpts.ix[i,'Lat']
        loni = trkpts.ix[i,'Lon']
        md = abs(lat - lati) + abs(lon - loni)
        if d > md:
            #print d, dlat, dlon, lati, loni
            best = i
            d = md
    return best

這次運行代碼時，出現一個錯誤：