0519-85602926 15861139266
介紹
循環(huán)在我們身邊自然而然地出現(xiàn)，我們幾乎在所有編程語言中都學過循環(huán)。因此，默認情況下，每當有重復操作時，我們就開始實現(xiàn)循環(huán)。但是當我們處理大量迭代（數(shù)百萬/數(shù)十億行）時，使用循環(huán)就是一種罪行。我們可能會卡住好幾個小時，最后意識到它行不通。這就是在Python中實現(xiàn)向量化變得非常關(guān)鍵的地方。
什么是向量化？
向量化是在數(shù)據(jù)集上實現(xiàn)（NumPy）數(shù)組操作的技術(shù)。在后臺，它將操作應用于數(shù)組或系列的所有元素，一次性完成（不像“for”循環(huán)一次操作一行）。在這篇文章中中，我們可以輕松地用向量化替代Python循環(huán)。這將幫助我們節(jié)省時間，并在編碼方面變得更加熟練。
用例1：找到數(shù)字的和
首先，我們將看一個使用循環(huán)和Python中的向量化找到數(shù)字和的基本示例。
使用循環(huán)
import time
start = time.time()
# iterative sum
total = 0
# iterating through 1.5 Million numbers
for item in range(0, 1500000):
total = total + item
print('sum is:' + str(total))
end = time.time()
print(end - start)
#1124999250000
#0.14 Seconds
使用向量化
import numpy as np
start = time.time()
# vectorized sum - using numpy for vectorization
# np.arange create the sequence of numbers from 0 to 1499999
print(np.sum(np.arange(1500000)))
end = time.time()
print(end - start)
##1124999250000
##0.008 Seconds
相比于使用range函數(shù)進行迭代，向量化執(zhí)行時間約為循環(huán)的18倍。在使用Pandas DataFrame時，這種差異將變得更為顯著。
用例2：數(shù)學運算（在DataFrame上）
在數(shù)據(jù)科學中，開發(fā)人員在使用Pandas DataFrame時，使用循環(huán)進行數(shù)學運算以創(chuàng)建新的派生列。在以下示例中，我們可以看到如何輕松地將循環(huán)替換為這種情況下的向量化。
創(chuàng)建DataFrame
DataFrame是以行和列形式的表格數(shù)據(jù)。我們創(chuàng)建一個具有500萬行和4列，填充了0到50之間的隨機值的Pandas DataFrame。
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0, 50, size=(5000000, 4)), columns=('a','b','c','d'))
df.shape
# (5000000, 5)
df.head()
前5行
我們將創(chuàng)建一個新列'ratio'，以找到列'd'和'c'的比率。
使用循環(huán)
import time
start = time.time()
# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
# creating a new column
df.at[idx,'ratio'] = 100 * (row["d"] / row["c"])
end = time.time()
print(end - start)
### 109 Seconds
使用向量化
start = time.time()
df["ratio"] = 100 * (df["d"] / df["c"])
end = time.time()
print(end - start)
### 0.12 seconds
我們可以看到，在DataFrame中，與Python中的循環(huán)相比，向量化操作所需的時間幾乎快1000倍。
用例3：if-else語句（在DataFrame上）
我們實現(xiàn)了許多需要使用“If-else”類型邏輯的操作。我們可以輕松地用Python中的向量化操作替換這些邏輯。讓我們看下面的例子以更好地理解它（我們將使用在用例2中創(chuàng)建的DataFrame）：
假設(shè)我們想基于對現(xiàn)有列‘a(chǎn)’的某些條件創(chuàng)建一個新列‘e’。
使用循環(huán)
import time
start = time.time()
# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
if row.a == 0:
df.at[idx,'e'] = row.d
elif (row.a <= row.a=""> 0):
df.at[idx,'e'] = (row.b)-(row.c)
else:
df.at[idx,'e'] = row.b + row.c
end = time.time()
print(end - start)
### Time taken: 177 seconds
使用向量化
# using vectorization
start = time.time()
df['e'] = df['b'] + df['c']
df.loc[df['a'] <= 25, 'e'] = df['b'] -df['c']
df.loc[df['a']==0, 'e'] = df['d']end = time.time()
print(end - start)
## 0.28007707595825195 sec
向量化操作所需的時間比帶有if-else語句的Python循環(huán)快600倍。
用例4（高級）：解決機器學習/深度學習網(wǎng)絡(luò)
深度學習要求我們解決多個復雜的方程，而且還要為數(shù)百萬甚至數(shù)十億行運行。在Python中運行循環(huán)來解決這些方程非常慢，而向量化是最優(yōu)解。例如，為了計算多元線性回歸方程中數(shù)百萬行的y值：
多元線性回歸
我們可以用向量化替換循環(huán)。m1，m2，m3...的值是通過使用與x1，x2，x3...相對應的數(shù)百萬個值解上述方程得出的（為簡單起見，我們只看一個簡單的乘法步驟）
創(chuàng)建數(shù)據(jù)
import numpy as np
# setting initial values of m
m = np.random.rand(1,5)
# input values for 5 million rows
x = np.random.rand(5000000,5)
m的輸出
x的輸出
使用循環(huán)
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)
total = 0
tic = time.process_time()
for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[j]
zer[i] = total
toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")
####Computation time = 28.228 seconds
使用向量化
兩個矩陣的點積
tic = time.process_time()
#dot product
np.dot(x,m.T)
toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")
####Computation time = 0.107 seconds
np.dot在后臺實現(xiàn)了向量化矩陣乘法。與Python中的循環(huán)相比，它快165倍。
結(jié)論
在Python中，向量化非�？欤瑧搩�(yōu)先使用，特別是在處理非常大的數(shù)據(jù)集時。
隨著時間的推移開始實施它，我們將逐漸習慣以向量化代碼的方式思考。
