作者:京東物流 崔旭
我們都知道,數(shù)據(jù)結(jié)構(gòu)和算法本身解決的是“快”和“省”的問題,即如何讓代碼運行得更快,如何讓代碼更省存儲空間。所以,執(zhí)行效率是算法一個非常重要的考量指標。那如何來衡量你編寫的算法代碼的執(zhí)行效率呢?這里就要用到我們今天要講的內(nèi)容:時間、空間復(fù)雜度分析。
1 為什么需要復(fù)雜度分析?你可能會有些疑惑,我把代碼跑一遍,通過統(tǒng)計、監(jiān)控,就能得到算法執(zhí)行的時間和占用的內(nèi)存大小。為什么還要做時間、空間復(fù)雜度分析呢?這種分析方法能比實實在在跑一遍得到的數(shù)據(jù)更準確嗎?
首先可以肯定地說,這種評估算法執(zhí)行效率的方法是正確的。很多數(shù)據(jù)結(jié)構(gòu)和算法書籍還給這種方法起了一個名字,叫事后統(tǒng)計法。但是,這種統(tǒng)計方法有非常大的局限性。
1.1 測試結(jié)果非常依賴測試環(huán)境測試環(huán)境中硬件的不同會對測試結(jié)果有很大的影響。比如,我們拿同樣一段代碼,分別用 Intel Core i9 處理器和 Intel Core i3 處理器來運行,i9 處理器要比 i3 處理器執(zhí)行的速度快很多。還有,比如原本在這臺機器上 a 代碼執(zhí)行的速度比 b 代碼要快,等我們換到另一臺機器上時,可能會有截然相反的結(jié)果。
1.2 測試結(jié)果受數(shù)據(jù)規(guī)模的影響很大對同一個排序算法,待排序數(shù)據(jù)的有序度不一樣,排序的執(zhí)行時間就會有很大的差別。極端情況下,如果數(shù)據(jù)已經(jīng)是有序的,那排序算法不需要做任何操作,執(zhí)行時間就會非常短。除此之外,如果測試數(shù)據(jù)規(guī)模太小,測試結(jié)果可能無法真實地反應(yīng)算法的性能。比如,對于小規(guī)模的數(shù)據(jù)排序,插入排序可能反倒會比快速排序要快!
所以,我們需要一個不用具體的測試數(shù)據(jù)來測試,就可以粗略地估計算法的執(zhí)行效率的方法,這就是我們接下來要說的大O復(fù)雜度表示法。
2 大O復(fù)雜度表示法算法的執(zhí)行效率,粗略地講,就是算法代碼執(zhí)行的時間。但是,如何在不運行代碼的情況下,用“肉眼”得到一段代碼的執(zhí)行時間呢?
這里有段非常簡單的代碼,求 1,2,3…n 的累加和?,F(xiàn)在,一塊來估算一下這段代碼的執(zhí)行時間吧。
從 CPU 的角度來看,這段代碼的每一行都執(zhí)行著類似的操作:讀數(shù)據(jù)-運算-寫數(shù)據(jù)。盡管每行代碼對應(yīng)的 CPU 執(zhí)行的個數(shù)、執(zhí)行的時間都不一樣,但是,我們這里只是粗略估計,所以可以假設(shè)每行代碼執(zhí)行的時間都一樣,為 unit_time。在這個假設(shè)的基礎(chǔ)之上,這段代碼的總執(zhí)行時間是多少呢?
第 2、3 行代碼分別需要 1 個 unit_time 的執(zhí)行時間,第 4、5 行都運行了 n 遍,所以需要 2nunit_time 的執(zhí)行時間,所以這段代碼總的執(zhí)行時間就是 (2n+2)unit_time。可以看出來,所有代碼的執(zhí)行時間 T(n) 與每行代碼的執(zhí)行次數(shù)成正比。
按照這個分析思路,我們再來看這段代碼。
我們依舊假設(shè)每個語句的執(zhí)行時間是 unit_time。那這段代碼的總執(zhí)行時間 T(n) 是多少呢?
第 2、3、4 行代碼,每行都需要 1 個 unit_time 的執(zhí)行時間,第 5、6 行代碼循環(huán)執(zhí)行了 n 遍,需要 2n unit_time 的執(zhí)行時間,第 7、8 行代碼循環(huán)執(zhí)行了 n2遍,所以需要 2n2 unit_time 的執(zhí)行時間。所以,整段代碼總的執(zhí)行時間 T(n) = (2n2+2n+3)*unit_time。
盡管我們不知道 unit_time 的具體值,但是通過這兩段代碼執(zhí)行時間的推導過程,我們可以得到一個非常重要的規(guī)律,那就是,所有代碼的執(zhí)行時間 T(n) 與每行代碼的執(zhí)行次數(shù) n 成正比。我們可以把這個規(guī)律總結(jié)成一個公式。注意,大 O 就要登場了!
我來具體解釋一下這個公式。其中,T(n) 我們已經(jīng)講過了,它表示代碼執(zhí)行的時間;n 表示數(shù)據(jù)規(guī)模的大?。籪(n) 表示每行代碼執(zhí)行的次數(shù)總和。因為這是一個公式,所以用 f(n) 來表示。公式中的 O,表示代碼的執(zhí)行時間 T(n) 與 f(n) 表達式成正比。
所以,第一個例子中的 T(n) = O(2n+2),第二個例子中的 T(n) = (2n2+2n+3)。這就是大O時間復(fù)雜度表示法。大O時間復(fù)雜度實際上并不具體表示代碼真正的執(zhí)行時間,而是表示代碼執(zhí)行時間隨數(shù)據(jù)規(guī)模增長的變化趨勢,所以,也叫作漸進時間復(fù)雜度,簡稱時間復(fù)雜度。
當 n 很大時,你可以把它想象成 10000、100000。而公式中的低階、常量、系數(shù)三部分并不左右增長趨勢,所以都可以忽略。我們只需要記錄一個最大量級就可以了,如果用大 O 表示法表示剛講的那兩段代碼的時間復(fù)雜度,就可以記為:T(n) = O(n); T(n) = O(n2)。
3 時間復(fù)雜度分析前面介紹了大 O 時間復(fù)雜度的由來和表示方法?,F(xiàn)在我們來看下,如何分析一段代碼的時間復(fù)雜度?
3.1 只關(guān)注循環(huán)執(zhí)行次數(shù)最多的一段代碼大 O 這種復(fù)雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、系數(shù),只需要記錄一個最大階的量級就可以了。所以,我們在分析一個算法、一段代碼的時間復(fù)雜度的時候,也只關(guān)注循環(huán)執(zhí)行次數(shù)最多的那一段代碼就可以了。這段核心代碼執(zhí)行次數(shù)的 n 的量級,就是整段要分析代碼的時間復(fù)雜度。
為了便于你理解,我還拿前面的例子來說明。
其中第 2、3 行代碼都是常量級的執(zhí)行時間,與 n 的大小無關(guān),所以對于復(fù)雜度并沒有影響。循環(huán)執(zhí)行次數(shù)最多的是第 4、5 行代碼,所以這塊代碼要重點分析。前面我們也講過,這兩行代碼被執(zhí)行了 n 次,所以總的時間復(fù)雜度就是 O(n)。
3.2 加法法則:總復(fù)雜度等于量級最大的那段代碼的復(fù)雜度這里還有一段代碼。
這個代碼分為三部分,分別是求 sum_1、sum_2、sum_3。我們可以分別分析每一部分的時間復(fù)雜度,然后把它們放到一塊兒,再取一個量級最大的作為整段代碼的復(fù)雜度。
第一段的時間復(fù)雜度是多少呢?這段代碼循環(huán)執(zhí)行了 100 次,所以是一個常量的執(zhí)行時間,跟 n 的規(guī)模無關(guān)。
即便這段代碼循環(huán) 10000 次、100000 次,只要是一個已知的數(shù),跟 n 無關(guān),照樣也是常量級的執(zhí)行時間。當 n 無限大的時候,就可以忽略。盡管對代碼的執(zhí)行時間會有很大影響,但是回到時間復(fù)雜度的概念來說,它表示的是一個算法執(zhí)行效率與數(shù)據(jù)規(guī)模增長的變化趨勢,所以不管常量的執(zhí)行時間多大,我們都可以忽略掉。因為它本身對增長趨勢并沒有影響。
那第二段代碼和第三段代碼的時間復(fù)雜度是多少呢?答案是 O(n) 和 O(n2)。
綜合這三段代碼的時間復(fù)雜度,我們?nèi)∑渲凶畲蟮牧考?。所以,整段代碼的時間復(fù)雜度就為 O(n2)。也就是說:總的時間復(fù)雜度就等于量級最大的那段代碼的時間復(fù)雜度。那我們將這個規(guī)律抽象成公式就是:
如果 T1(n)=O(f(n)),T2(n)=O(g(n));那么 T(n)=T1(n)+T2(n)=max(O(f(n)), O(g(n))) =O(max(f(n), g(n))).
3.3 乘法法則:嵌套代碼的復(fù)雜度等于嵌套內(nèi)外代碼復(fù)雜度的乘積剛講了一個復(fù)雜度分析中的加法法則,這兒還有一個乘法法則。類比一下,你應(yīng)該能“猜到”公式是什么樣子的吧?
如果 T1(n)=O(f(n)),T2(n)=O(g(n));那么 T(n)=T1(n)T2(n)=O(f(n))O(g(n))=O(f(n)*g(n)).
也就是說,假設(shè) T1(n) = O(n),T2(n) = O(n2),則 T1(n) * T2(n) = O(n3)。落實到具體的代碼上,我們可以把乘法法則看成是嵌套循環(huán),我舉個例子給你解釋一下。
我們單獨看 cal() 函數(shù)。假設(shè) f() 只是一個普通的操作,那第 4~6 行的時間復(fù)雜度就是,T1(n) = O(n)。但 f() 函數(shù)本身不是一個簡單的操作,它的時間復(fù)雜度是 T2(n) = O(n),所以,整個 cal() 函數(shù)的時間復(fù)雜度就是,T(n) = T1(n) T2(n) = O(nn) = O(n2)。
3.4 幾種常見時間復(fù)雜度實例分析雖然代碼千差萬別,但是常見的復(fù)雜度量級并不多。稍微總結(jié)了一下,這些復(fù)雜度量級幾乎涵蓋了大部分的場景。
對于剛羅列的復(fù)雜度量級,我們可以粗略地分為兩類,多項式量級和非多項式量級。其中,非多項式量級只有兩個:O(2?) 和 O(n!)。
當數(shù)據(jù)規(guī)模 n 越來越大時,非多項式量級算法的執(zhí)行時間會急劇增加,求解問題的執(zhí)行時間會無限增長。所以,非多項式時間復(fù)雜度的算法其實是非常低效的算法。我們主要來看幾種常見的多項式時間復(fù)雜度。
1.O(1)首先你必須明確一個概念,O(1) 只是常量級時間復(fù)雜度的一種表示方法,并不是指只執(zhí)行了一行代碼。比如這段代碼,即便有 3 行,它的時間復(fù)雜度也是 O(1),而不是 O(3)。
只要代碼的執(zhí)行時間不隨 n 的增大而增長,這樣代碼的時間復(fù)雜度我們都記作 O(1)?;蛘哒f,一般情況下,只要算法中不存在循環(huán)語句、遞歸語句,即使有成千上萬行的代碼,其時間復(fù)雜度也是Ο(1)。
2.O(logn)、O(nlogn)對數(shù)階時間復(fù)雜度非常常見,同時也是最難分析的一種時間復(fù)雜度。我通過一個例子來說明一下。
根據(jù)我們前面講的復(fù)雜度分析方法,第三行代碼是循環(huán)執(zhí)行次數(shù)最多的。所以,我們只要能計算出這行代碼被執(zhí)行了多少次,就能知道整段代碼的時間復(fù)雜度。
從代碼中可以看出,變量 i 的值從 1 開始取,每循環(huán)一次就乘以 2。當大于 n 時,循環(huán)結(jié)束。
實際上,變量 i 的取值就是一個等比數(shù)列。如果我把它一個一個列出來,就應(yīng)該是這個樣子的:
所以,我們只要知道 x 值是多少,就知道這行代碼執(zhí)行的次數(shù)了。通過 2?=n 求解 x ,x=log?n,所以,這段代碼的時間復(fù)雜度就是 O(log?n)。
現(xiàn)在,我把代碼稍微改下,你再看看,這段代碼的時間復(fù)雜度是多少?
根據(jù)我剛剛講的思路,很簡單就能看出來,這段代碼的時間復(fù)雜度為 O(log?n)。
實際上,不管是以 2 為底、以 3 為底,還是以 10 為底,我們可以把所有對數(shù)階的時間復(fù)雜度都記為 O(logn)。為什么呢?
我們知道,對數(shù)之間是可以互相轉(zhuǎn)換的,log?n 就等于 log?2 log?n,所以 O(log?n) = O(C log?n),其中 C=log?2 是一個常量?;谖覀兦懊娴囊粋€理論:在采用大 O 標記復(fù)雜度的時候,可以忽略系數(shù),即 O(Cf(n)) = O(f(n))。所以,O(log?n) 就等于 O(log?n)。因此,在對數(shù)階時間復(fù)雜度的表示方法里,我們忽略對數(shù)的“底”,統(tǒng)一表示為 O(logn)。
如果你理解了O(logn),那 O(nlogn) 就很容易理解了。還記得我們剛講的乘法法則嗎?如果一段代碼的時間復(fù)雜度是 O(logn),我們循環(huán)執(zhí)行 n 遍,時間復(fù)雜度就是 O(nlogn) 了。而且,O(nlogn) 也是一種非常常見的算法時間復(fù)雜度。比如,歸并排序、快速排序的時間復(fù)雜度都是 O(nlogn)。
3.O(m+n)、O(m*n)我們再來講一種跟前面都不一樣的時間復(fù)雜度,代碼的復(fù)雜度由兩個數(shù)據(jù)的規(guī)模來決定。老規(guī)矩,先看代碼!
從代碼中可以看出,m 和 n 是表示兩個數(shù)據(jù)規(guī)模。我們無法事先評估 m 和 n 誰的量級大,所以我們在表示復(fù)雜度的時候,就不能簡單地利用加法法則,省略掉其中一個。所以,上面代碼的時間復(fù)雜度就是 O(m+n)。
針對這種情況,原來的加法法則就不正確了,我們需要將加法規(guī)則改為:T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續(xù)有效:T1(m)T2(n) = O(f(m) f(n))。
4 空間復(fù)雜度分析前面,咱們花了很長時間講大 O 表示法和時間復(fù)雜度分析,理解了前面講的內(nèi)容,空間復(fù)雜度分析方法學起來就非常簡單了。
時間復(fù)雜度的全稱是漸進時間復(fù)雜度,表示算法的執(zhí)行時間與數(shù)據(jù)規(guī)模之間的增長關(guān)系。類比一下,空間復(fù)雜度全稱就是漸進空間復(fù)雜度,表示算法的存儲空間與數(shù)據(jù)規(guī)模之間的增長關(guān)系。
還是拿具體的例子來說明。
跟時間復(fù)雜度分析一樣,我們可以看到,第 2 行代碼中,我們申請了一個空間存儲變量 i,但是它是常量階的,跟數(shù)據(jù)規(guī)模 n 沒有關(guān)系,所以我們可以忽略。第 3 行申請了一個大小為 n 的 int 類型數(shù)組,除此之外,剩下的代碼都沒有占用更多的空間,所以整段代碼的空間復(fù)雜度就是 O(n)。
我們常見的空間復(fù)雜度就是 O(1)、O(n)、O(n2),像 O(logn)、O(nlogn) 這樣的對數(shù)階復(fù)雜度平時都用不到。而且,空間復(fù)雜度分析比時間復(fù)雜度分析要簡單很多。
復(fù)雜度也叫漸進復(fù)雜度,包括時間復(fù)雜度和空間復(fù)雜度,用來分析算法執(zhí)行效率與數(shù)據(jù)規(guī)模之間的增長關(guān)系,可以粗略地表示,越高階復(fù)雜度的算法,執(zhí)行效率越低。常見的復(fù)雜度并不多,從低階到高階有:O(1)、O(logn)、O(n)、O(nlogn)、O(n2)。