回歸測試

回歸測試是一套複雜完整的測試，用來測試嵌入在PostgreSQL 里的的 SQL 實現． 它同時測試標準 SQL 操作和PostgreSQL的擴展SQL． 這個套件最初是 Jolly Chen 和 Andrew Yu開發的，並且由 Marc Fournier 和 Thomas Lockhart 進行了大量的改進和重新封裝． 自 PostgreSQL 6.1 以上開始，這個回歸測試包含在每個正式發布版本里．

回歸測試可以就一套已經安裝好並且在運行的伺服器進行測試，也可以就製作樹裡面臨時安裝的伺服器進行測試．詳細些說，有 "并行"和"串列"運行測試之分．串列模式順序運行每個測試，而并行模式激活多個伺服器進程，并行地運行一組測試． 并行測試使我們對進程內部通訊和鎖的正確工作有足夠的信心．由於歷史原因，串列測試通常對一個現存的安裝進行測試，而并行 測試是"獨立"的，不過這麼做沒有什麼技術原因．

每當一個新的模塊被當作集成測試的一部分加進來的時候，軟體就發生了改變。新的數據流路徑建立起來，新的I/O操作可能也會出現，還有可能激活了新的控制邏輯。這些改變可能會使原本工作得很正常的功能產生錯誤。在集成測試策略的環境中，回歸測試是對某些已經進行過的測試的某些子集再重新進行一遍，以保證上述改變不會傳播無法預料的副作用。

在更廣的環境里，（任何種類的）成功測試結果都是發現錯誤，而錯誤是要被修改的，每當軟體被修改的時候，軟體配置的某些方面（程序、文檔、或者數據）也被修改了，回歸測試就是用來保證（由於測試或者其他原因的）改動不會帶來不可預料的行為或者另外的錯誤。

回歸測試可以通過重新執行所有的測試用例的一個子集人工地進行，也可以使用自動化的捕獲回放工具來進行。捕獲回放工具使得軟體工程師能夠捕獲到測試用例，然後就可以進行回放和比較。回歸測試集（要進行的測試的子集）包括三種不同類型的測試用例：

·能夠測試軟體的所有功能的代表性測試用例。

·專門針對可能會被修改影響的軟體功能的附加測試。

·針對修改過的軟體成分的測試。

在集成測試進行的過程中，回歸測試可能會變得非常龐大。因此，回歸測試應當設計為只包括那些涉及在主要的軟體功能中出現的一個或多個錯誤類的那些測試，每當進行一個修改時，就對每一個程序功能都重新執行所有的測試是不實際的而且效率很低的。

1.回歸測試是指重複以前的全部或部分的相同測試。

2.新加入測試的模組，可能對其他模組產生副作用，故須進行某些程度的回歸測試。

3.回歸測試的重心，以關鍵性模組為核心。

在軟體生命周期中的任何一個階段，只要軟體發生了改變，就可能給該軟體帶來問題。軟體的改變可能是源於發現了錯誤並做了修改，也有可能是因為在集成或維護階段加入了新的模塊。當軟體中所含錯誤被發現時，如果錯誤跟蹤與管理系統不夠完善，就可能會遺漏對這些錯誤的修改；而開發者對錯誤理解得不夠透徹，也可能導致所做的修改只是修正了錯誤的外在表現，而沒有修復錯誤本身，從而造成修改失敗；修改還有可能產生副作用從而導致軟體未被修改的部分產生新的問題，使本來工作正常的功能產生錯誤。同樣，在有新代碼加入軟體的時候，除了新加入的代碼中有可能含有錯誤外，新代碼還有可能對原有的代碼帶來影響。因此，每當軟體發生變化時，我們就必須重新測試現有的功能，以便確定修改是否達到了預期的目的，檢查修改是否損害了原有的正常功能。同時，還需要補充新的測試用例來測試新的或被修改了的功能。為了驗證修改的正確性及其影響就需要進行回歸測試。

回歸測試在軟體生命周期中扮演著重要的角色，因忽視回歸測試而造成嚴重後果的例子不計其數，導致阿里亞娜5型火箭發射失敗的軟體缺陷就是由於復用的代碼沒有經過充分的回歸測試造成的。

對於一個軟體開發項目來說，項目的測試組在實施測試的過程中會將所開發的測試用例保存到“測試用例庫”中，並對其進行維護和管理。當得到一個軟體的基線版本時，用於基線版本測試的所有測試用例就形成了基線測試用例庫。在需要進行回歸測試的時候，就可以根據所選擇的回歸測試策略，從基線測試用例庫中提取合適的測試用例組成回歸測試包，通過運行回歸測試包來實現回歸測試。保存在基線測試用例庫中的測試用例可能是自動測試腳本，也有可能是測試用例的手工實現過程。

回歸測試需要時間、經費和人力來計劃、實施和管理。為了在給定的預算和進度下，儘可能有效率和有效力地進行回歸測試，需要對測試用例庫進行維護並依據一定的策略選擇相應的回歸測試包。

測試用例庫的維護

為了最大限度地滿足客戶的需要和適應應用的要求，軟體在其生命周期中會頻繁地被修改和不斷推出新的版本，修改後的或者新版本的軟體會添加一些新的功能或者在軟體功能上產生某些變化。隨著軟體的改變，軟體的功能和應用介面以及軟體的實現發生了演變，測試用例庫中的一些測試用例可能會失去針對性和有效性，而另一些測試用例可能會變得過時，還有一些測試用例將完全不能運行。為了保證測試用例庫中測試用例的有效性，必須對測試用例庫進行維護。同時，被修改的或新增添的軟體功能，僅僅靠重新運行以前的測試用例並不足以揭示其中的問題，有必要追加新的測試用例來測試這些新的功能或特徵。因此，測試用例庫的維護工作還應包括開發新測試用例，這些新的測試用例用來測試軟體的新特徵或者覆蓋現有測試用例無法覆蓋的軟體功能或特徵。

測試用例的維護是一個不間斷的過程，通常可以將軟體開發的基線作為基準，維護的主要內容包括下述幾個方面。

(1)、刪除過時的測試用例　因為需求的改變等原因可能會使一個基線測試用例不再適合被測試系統，這些測試用例就會過時。例如，某個變數的界限發生了改變，原來針對邊界值的測試就無法完成對新邊界測試。所以，在軟體的每次修改後都應進行相應的過時測試用例的刪除。

(2)、改進不受控制的測試用例

隨著軟體項目的進展，測試用例庫中的用例會不斷增加，其中會出現一些對輸入或運行狀態十分敏感的測試用例。這些測試不容易重複且結果難以控制，會影響回歸測試的效率，需要進行改進，使其達到可重複和可控制的要求。

(3)、刪除冗餘的測試用例

如果存在兩個或者更多個測試用例針對一組相同的輸入和輸出進行測試，那麼這些測試用例是冗餘的。冗餘測試用例的存在降低了回歸測試的效率。所以需要定期的整理測試用例庫，並將冗餘的用例刪除掉。

(4)、增添新的測試用例

如果某個程序段、構件或關鍵的介面在現有的測試中沒有被測試，那麼應該開發新測試用例重新對其進行測試。並將新開發的測試用例合併到基線測試包中。

通過對測試用例庫的維護不僅改善了測試用例的可用性，而且也提高了測試庫的可信性，同時還可以將一個基線測試用例庫的效率和效用保持在一個較高的級別上。

回歸測試包的選擇

在軟體生命周期中，即使一個得到良好維護的測試用例庫也可能變得相當大，這使每次回歸測試都重新運行完整的測試包變得不切實際。一個完全的回歸測試包括每個基線測試用例，時間和成本約束可能阻礙運行這樣一個測試，有時測試組不得不選擇一個縮減的回歸測試包來完成回歸測試。

回歸測試的價值在於它是一個能夠檢測到回歸錯誤的受控實驗。當測試組選擇縮減的回歸測試時，有可能刪除了將揭示回歸錯誤的測試用例，消除了發現回歸錯誤的機會。然而，如果採用了代碼相依性分析等安全的縮減技術，就可以決定哪些測試用例可以被刪除而不會讓回歸測試的意圖遭到破壞。

選擇回歸測試策略應該兼顧效率和有效性兩個方面。常用的選擇回歸測試的方式包括：

(1)、再測試全部用例

選擇基線測試用例庫中的全部測試用例組成回歸測試包，這是一種比較安全的方法，再測試全部用例具有最低的遺漏回歸錯誤的風險，但測試成本最高。全部再測試幾乎可以應用到任何情況下，基本上不需要進行分析和重新開發，但是，隨著開發工作的進展，測試用例不斷增多，重複原先所有的測試將帶來很大的工作量，往往超出了我們的預算和進度。

(2)、基於風險選擇測試

可以基於一定的風險標準來從基線測試用例庫中選擇回歸測試包。首先運行最重要的、關鍵的和可疑的測試，而跳過那些非關鍵的、優先順序別低的或者高穩定的測試用例，這些用例即便可能測試到缺陷，這些缺陷的嚴重性也僅有三級或四級。一般而言，測試從主要特徵到次要特徵。

(3)、基於操作剖面選擇測試

如果基線測試用例庫的測試用例是基於軟體操作剖面開發的，測試用例的分佈情況反映了系統的實際使用情況。回歸測試所使用的測試用例個數可以由測試預算確定，回歸測試可以優先選擇那些針對最重要或最頻繁使用功能的測試用例，釋放和緩解最高級別的風險，有助於儘早發現那些對可靠性有最大影響的故障。這種方法可以在一個給定的預算下最有效地提高系統可靠性，但實施起來有一定的難度。

(4)、再測試修改的部分

當測試者對修改的局部化有足夠的信心時，可以通過相依性分析識別軟體的修改情況並分析修改的影響，將回歸測試局限於被改變的模塊和它的介面上。通常，一個回歸錯誤一定涉及一個新的、修改的或刪除的代碼段。在允許的條件下，回歸測試儘可能覆蓋受到影響的部分。

再測試全部用例的策略是最安全的策略，但已經運行過許多次的回歸測試不太可能揭示新的錯誤，而且很多時候，由於時間、人員、設備和經費的原因，不允許選擇再測試全部用例的回歸測試策略，此時，可以選擇適當的策略進行縮減的回歸測試。

有了測試用例庫的維護方法和回歸測試包的選擇策略，回歸測試可遵循下述基本過程進行:

(1). 識別出軟體中被修改的部分；

(2). 從原基線測試用例庫T中，排除所有不再適用的測試用例，確定那些對新的軟體版本依然有效的測試用例，其結果是建立一個新的基線測試用例庫T0。

(3). 依據一定的策略從T0中選擇測試用例測試被修改的軟體。

(4). 如果必要，生成新的測試用例集T1，用於測試T0無法充分測試的軟體部分。

(5). 用T1執行修改後的軟體。

第(2)和第(3)步測試驗證修改是否破壞了現有的功能，第(4)和第(5)步測試驗證 修改工作本身。

在實際工作中，回歸測試需要反覆進行，當測試者一次又一次地完成相同的測試時，這些回歸測試將變得非常令人厭煩，而在大多數回歸測試需要手工完成的時候尤其如此，因此，需要通過自動測試來實現重複的和一致的回歸測試。通過測試自動化可以提高回歸測試效率。為了支持多種回歸測試策略，自動測試工具應該是通用的和靈活的，以便滿足達到不同回歸測試目標的要求。

在測試軟體時，應用多種測試技術是常見的。當測試一個修改了的軟體時，測試者也可能希望採用多於一種回歸測試策略來增加對修改軟體的信心。不同的測試者可能會依據自己的經驗和判斷選擇不同的回歸測試技術和策略。

回歸測試並不減少對系統新功能和特徵的測試需求，回歸測試包應包括新功能和特徵的測試。如果回歸測試包不能達到所需的覆蓋要求，必須補充新的測試用例使覆蓋率達到規定的要求。

回歸測試是重複性較多的活動，容易使測試者感到疲勞和厭倦，降低測試效率，在實際工作中可以採用一些策略減輕這些問題。例如，安排新的測試者完成手工回歸測試，分配更有經驗的測試者開發新的測試用例，編寫和調試自動測試腳本，做一些探索性的或ad hoc測試。還可以在不影響測試目標的情況下，鼓勵測試者創造性地執行測試用例，變化的輸入、按鍵和配置能夠有助於激勵測試者又能揭示新的錯誤。

在組織回歸測試時需要注意兩點，首先是各測試階段發生的修改一定要在本測試階段內完成回歸，以免將錯誤遺留到下一測試階段。其次，回歸測試期間應對該軟體版本凍結，將回歸測試發現的問題集中修改，集中回歸。

在實際工作中，可以將回歸測試與兼容性測試結合起來進行。在新的配置條件下運行舊的測試可以發現兼容性問題，而同時也可以揭示編碼在回歸方面的錯誤。