On the Quality of Computer Network Measurements

• Main Author: Arlos, Patrik
• Format: Doctoral Thesis
• Language: English
• Published: Blekinge Tekniska Högskola [bth.se], School of Engineering - Dept. of Telecommunication Systems 2005
• Subjects: Computer Network Measurements; Network Measurement Accuracy; Timestamp Accuracy; Quality of Measurements; Traffic Generation; Analysis; Sampling
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:bth-00279; http://nbn-resolving.de/urn:isbn:91-7295-070-6

Due to the complex diversity of contemporary Internet-services, computer network measurements have gained considerable interest during recent years. Since they supply network research, development and operations with data important for network traffic modelling, performance and trend analysis, etc. The quality of these measurements affect the results of these activities and thus the perception of the network and its services. This thesis contains a systematic investigation of computer network measurements and a comprehensive overview of factors influencing the quality of performance parameters obtained from computer network measurements. This is done using a novel network performance framework consisting of four modules: Generation, Measurement, Analysis and Visualization. These modules cover all major aspects controlling the quality of computer network measurements and thus the validity of all kinds of conclusions based on them. One major source of error is the timestamp accuracy obtained from measurement hardware and software. Therefore, a method is presented that estimates the timestamp accuracy obtained from measurement hardware and software. The method has been used to evaluate the timestamp accuracy of some commonly used hardware (Agilent J6800/J6830A and Endace DAG 3.5E) and software (Packet Capture Library). Furthermore, the influence of analysis on the quality of performance parameters is discussed. An example demonstrates how the quality of a performance metric (bitrate) is affected by different measurement tools and analysis methods. The thesis also contains performance evaluations of traffic generators, how accurately application-level measurements describe network behaviour, and of the quality of performance parameters obtained from PING and J-OWAMP. The major conclusion is that measurement systems and tools must be calibrated, verified and validated for the task of interest before using them for computer network measurements. A guideline is presented on how to obtain performance parameters at a desired quality level. === Datornät används i mer och mer i vårt dagliga liv, de används för att telefonera, läsa tidningar, se på TV, handla, boka resor etc. På grund av denna diversiteten bland tjänsterna så har mätningar blivit populära under senare år. Detta då de förser nätverksforskningen, utvecklingen och driften med data som används för trafik modellering, prestanda och trend analys. Kvaliteten på dessa mätningar kommer därför direkt påverka resultaten av dessa aktiviteter och därför vår uppfattning av nätverket och dess tjänster. I denna avhandling ger vi en systematisk översikt av datornätverks mätningar och en omfattande översikt av de faktorer som påverkar kvaliteten av prestanda parametrar som tas fram via mätningar. Detta görs genom ett nytt ramverks som beskriver de fyra moduler som påverkar mätningarnas kvalitet: generering, mätning, analys och visualisering. En av de stora källorna till kvalitets problem är noggrannheten på tidstämplar. Dessa tidstämplar beskriver när händelser skedde i nätverket. På grund av detta så presenterar vi en metod som kan uppskatta den tidstämpling noggrannhet som man kan få från mätverktyg, både hård och mjukvara. Metoden används för att utvärdera noggrannheten på några vanliga verktyg, två hårdvarubaserade system (Agilent J6800/J6830A och Endace DAG 3.5E) samt mjukvarubaserade system (Packet Capture Library). Vidare så diskuteras påverkan som analysen har på kvaliteten, och ett exempel ges på hur ett prestanda mått (bitrate) påverkas av mätsystem (hård/mjukvara) och analys metod. Avhandlingen innehåller dessutom utvärderingar av trafik generatorer, applikations mätningar och kvaliteten på mättningar gjorda med PING och J-OWAMP. Huvudslutsatsen i arbetet är att mätsystem och verktyg måste kalibreras, verifieras och valideras innan de används. Baserat på detta så presenterar vi en riktlinje över hur man gör detta.