流量管理

基於網路的流量現狀和流量管控策略，對數據流進行識別分類，並實施流量控制、優化和對關鍵IT應用進行保障的相關技術。

流量管理近年來和“網路或網際網路服務的服務質量”，也就是我們通常說的QoS密切相關。為衡量服務質量，業界提出如下測量維度：

2.1時延時延是指IP包從網路入口點到達網路出口點所需要的傳輸時間。一些對時間敏感的應用，如實時的語音業務和視頻業務對時延的要求最為嚴格。造成網路時延的主要因素可以簡單地分為網路產生的時延和設備產生的時延。設備產生的時延一般是指設備處理業務數據時產生的時延，這與設備的性能有很大關係，包括網路各個層面的設備，如SDH設備、路由設備和媒體網關等。網路產生的時延包括基本的傳輸時延(即電信號或光信號在物理媒介上傳輸所需的固有時延)和鏈路速率時延(即當鏈路速率低於數據發送速率時產生的時延)。由於IP網路儘力而為的特性，設備產生的時延和網路產生的時延都還與實際網路中的數據流量狀況有關。當數據量較大、網路和設備滿負荷運轉時。產生的擁塞和排隊、調度和轉發時延將會顯著增加。

2.2抖動語音信號是連續的，在發送端經過壓縮打包后在IP網路中傳輸時，由於數據包傳送的路徑可能不同，因此不同的數據包到達接收端的時間也可能不同，導致接收端在回放語音時產生時斷時續的狀況，稱為抖動。接收端可以採用增加接收緩衝區的方式來對抖動產生的影響進行彌補。但是抖動緩衝區的大小將同時影響抖動和時延。如果抖動對語音質量產生了影響，那麼增加抖動緩衝區的大小就可以將抖動減少到可以接受的程度；但是如果緩衝區過大，就會增加時延，同樣會使得用戶難以接受。典型的抖動緩衝區產生的時延為20ms，但是通常會達到80ms。抖動緩衝區的大小需要根據具體的網路情況來設定。

2.3丟包率一般情況下，數據包在網路中產生擁塞的點被丟掉，在傳輸線路中產生的錯誤包同樣也會被丟掉。通常當接收包的數量超過了輸出埠的大小限制時就會產生擁塞，由此而產生丟包。如果在包到達的一端沒有足夠的輸入緩衝，也會造成丟包。丟包率通常被定義為一個連續若干個包以一定的時間間隔在網路中傳送時，被丟掉的包所佔的百分比。從用戶體驗的角度來講，一般高於2%的丟包率便無法接受了。

2.4吞吐量吞吐量是指網路中IP包的傳輸速率，可表示為平均速率或峰值速率。網路的吞吐量是衡量網路轉發IP包的能力，主要取決於鏈路速率、節點設備的埠速率和網路的業務量狀況。

2.5可用性可用性是指用戶能夠使用IP業務可用性功能的時間間隔佔IP業務全部時間間隔的百分比。在連續5min內，如果一個IP網路所提供的丟包率小於或等於75%，則認為該時間段是可用的，否則是不可用的。可用性主要用于衡量網路設備、鏈路正常提供業務的能力，確定該網路設備、鏈路是否能夠支持連續可用的數據包傳送業務。

TCP/IP起源於上世紀6 0年代末美國政府資助的一個研究項目，開始只是用於幾台機器的連接通訊，後來需要連接的機器越來越多，網路也從小型區域網向區域網互連——這就是我們現在廣域網的最初雛形。TCP/IP在不斷完善後被作為一項基礎的通訊協議用於了廣域網，這是網路通訊發展上的一次里程碑式的變革，直到現在，我們還在繼續使用TCP/IP。TCP/IP協議簇里的TCP和UDP協議，更是90%以上的應用要用的基礎協議。

TCP是一種面向對象的傳輸協議，為了保障數據傳輸的安全，在傳輸過程中需要進行多次協商建立連接，而UDP則不是面向連接的，關注發送速度而不關注數據安全性，是種粗暴的傳輸方式，當時應用不廣，主要用於DNS解析等。但是那時候人們對於廣域網還是預計不足，由於廣域網帶寬明顯小於區域網帶寬，隨著使用人數增多，網路出口處數據擁塞的瓶頸問題開始漸漸顯露出來（瓶頸倒水），1986年初，Jacobson針對出現端倪的網路擁塞開發了基礎的擁塞控制機制。

1988年Jacobson針對TCP在控制網路擁塞方面的不足，提出了“慢啟動”和“擁塞避免”演演算法。 1990年TCP Reno版本推出增加了“快速重傳”快速恢復”演演算法。這幾個演演算法稱為了避免網路擁塞的基礎，是目前網路沒有陷入癱瘓的最大功臣。到1996年的時候，國外以Packeteer（2008年被Blue Coat收購）為首的廠家為了解決跨國公司分公司訪問總部業務伺服器的速度問題首次推出了專業的流量管理設備。當時，一般跨國公司都是通過國際專線連接總部和分公司，帶寬非常昂貴，而普通的網路設備如防火牆、路由器和核心三層交換機等無法識別第七層應用如Oracle、SAP 等，因此以Packeteer 為首的廠家開發出基於第七層應用的流量管理設備來滿足這個需求。因為跨國公司的業務比較簡單，應用數量也不多（一般為業務系統、郵件等），所以基於第七層應用的流量管理方式很適合這種網路環境。

2003年左右，網際網路再次出現重大變革， P2P開始興起，對於網路的衝擊很大，通常P2P應用會佔用網路的總流量的50%-80%，和當年跨國公司的網路環境相比，應用數量變得非常大，通常在1 萬種以上，同時出口帶寬也變得非常大，從而使得基於第七層應用的流量管理方式遭遇了性能、技術和管理方式的雙重瓶頸。

在P2P改變了用戶網路行為模型圖示中，我們可以看到用戶的網路行為模型由以往的星狀變成了網狀。由於我們在之前看到所有的網路都是以客戶端和伺服器之間的交互，用這種訪問模型去構建現在所有的網路，而且我們的網路產品也是基於這種模型去設計和建造的。P2P出現之後，所有網路的模型，用戶和用戶之間產生了非常大交互的數據量，這樣就形成一個扁平網狀的模型，這種模型現在我們構建出來的基於星形連接的模式是不適合P2P新的網路訪問模型，這樣就給整個網路帶來非常大的災難性的影響。可想而知，在這種網路環境下，幾乎所以的用戶都會面臨“網路擁塞”的挑戰，造成的結果就是不到5%的P2P用戶佔用了90%以上的帶寬資源。

筆者對市場上二十多種流量控制產品做了研究，發些大多數仍是採用的是基於DPI的深度包解析技術（應用和協議識別技術）和隊列管理機制。

這種技術是對經過流量控制設備的數據包進行深度的拆包解析，並與設備自身的特徵資料庫進行匹配。原理上與當前流行的殺毒軟體一致，但是殺毒軟體是在本地進行的，流量管理設備是在網路出口處的，這種方式無疑會增大網路延遲，影響網路效率，並且對硬體本身也是折磨，遇到大流量的話，設備不是掛掉，就是直接放行流量。並且現在應用越來越多，P2P自身也在不斷發展，第一代P2P：集中式P2P應用，Napster模式，固定TCP埠；這一代的P2P生命力十分脆弱――只要關閉伺服器，網路就死了；第二代P2P：分散式P2P應用，跳躍埠，隨機埠；盜用常用埠（如HTTP的80）；HTTP隧道（偽裝成HTTP流量）；HTTP代理隧道（如SOCKS代理），第二代分散式P2P沒有中央伺服器，但是速度太慢；第三代P2P：介於集中與分佈之間，屬於混合型，採用分佈伺服器；發展到現在出現了所謂的第四代P2P，這一代P2P相比第三代，技術上沒有很大的革新，（但有兩個明顯特點）增加無用隨機數據（如BT等）和數據加密（如迅雷採用了密碼學中的高級加密標準AES加密法，又稱Rijndael加密法，是美國聯邦政府採用的一種區塊加密標準。這個標準用來替代原先的DES，已經被多方分析且廣為全世界所使用，號稱三十年無法破譯。）兩個手段使協議流量特徵模糊化；多協議並用，（比如迅雷就HTTP與FTP協議並存）；這類特徵都面對一個目的，逃避監管。

迅雷、 BT、eMule為代表的“加密化”趨勢，讓傳統方案束手無策。從管理方式來說，以前基於第七層應用的微觀管理流量的方式在大型網路中日益不適合，不但使最終用戶覺得隱私沒有保障，產生逆反心理，而且管理效果不佳。

從基於應用識別的管理圖示來看，當新的應用層出不窮，而特徵庫的更新總是在新應用出現之後。在更新特徵庫這段時間，網路總是處在無序的狀態，時好時壞。這樣始終是一個變異——更新——升級的惡性循環。

採取隊列機制來管理數據包的傳輸，在上載方向上確實適用，但在下載方向上完全無能為力，這種通過丟棄已收到數據包的方式強行將某些應用佔用的帶寬降下來，將導致下載帶寬損失。隊列技術最大的兩個問題就是對於所有流量造成延時和無法支持大於1000 的隊列通道。

隊列管理機制帶寬控制圖示中，以P2P控制為例，假如我們設定LAN中流量管理設備允許20%下行帶寬的P2P下載流量通過，這時從WAN上過來了40%的P2P流量，當這40%的P2P流量傳到流控設備時，因為我們事先設定只允許20%的P2P下載流量數據包通過，那麼20%的P2P下載流量數據包就會被流控設備丟掉，但被丟棄的20%的P2P下載流控數據包仍然佔用著WAN上的寬頻。這個時候，除了允許的這20%的P2P流量外，我們發現只有60%下行帶寬可以用於其它數據傳輸，其實帶寬利用率卻只有80%，其中20%的流量被白白的浪費掉了。

從上述的分析來看，不管是採用應用和協議識別技術，還是隊列管理機制，帶寬管理仍會面臨如下的挑戰：

A．網際網路的應用及傳輸協議成千上萬，不可能保證所有的應用都能正確識別。

B．迅雷等P2P新興軟體，採用私有加密協議，並通過常用埠進行連接（如80,443等）以逃避各種控制，增加應用流量管理對此類應用控制的難度。

C．由於應用的不斷增加及頻繁變化，流量管理設備本身需不斷更新識別庫，且識別庫的更新也很難保證快速及時。

D．網路管理人員需要頻繁策略以應對各種新的應用。

E． 各類信息流平均分獲一定的帶寬，網路閑時容易造成網路資源利用率低。

F． 只能控制網路內部的流量，對網路出口處的擁塞毫無幫助。

G．無法滿足應用程序對實時性越來越高的要求。

在P2P應用大行其道的網路年代，筆者認為用戶對能在控制好流量的同時，又保證網路資源利用率在最高狀態；能自動識別濫用帶寬用戶並加以限制，又避免了先有應用後有識別碼的惡性循環；能根據網路負載情況動態自動調整策略，又便於IT人員對當前的帶寬應用進行分析和故障排查的訴求將會越來越普遍。

目前又有關於以提升帶寬利用率，的帶寬管理技術，“精確的端到端流量控制”是什麼概念呢。就是由接收端可以根據當前的網路負荷狀況來遙控發送端。告訴發送端我能夠接受多少的數據包，你就發送多少數據包從而避免了網路擁塞的產生。使得網路整體連接狀況總是處在平穩的狀態中。

國內的話有上海雲速網路科技可以提供這樣的技術。

流量管理 V1.1.23

【系統平台】支持Android 2.2及以上版本

My Data Manager是安卓客一款針對用戶手機流量進行管理的實用工具，可設置月、日流量上限，可查看每款應用實用的流量，並支持臨界報警，幫助用戶有效安排流量使用，節省費用。

v1.1.23更新：

通知圖標現在是看不到的

可選擇匿名分享

新增無線裝置支持