Bir kazananı zorunlu olarak belirlemeden veya eşdeğerlik iddiasında bulunmadan gözlemlenen aralığı, belirsizliği, örnek kapsamını ve yöntemin sınırlarını raporlayın.
Sonucu yorumlamadan önce raporlayın
Bir karşılaştırma belirgin bir fark göstermediğinde, gözlemlenen sonuçları ortak test koşulları altında sunun ve mevcut kanıtların net bir sıralamayı desteklemediğini belirtin. Bu, zorla bir kazanan belirlemekten daha doğrudur; çünkü gözlemlenen küçük farklar güvenilir bir performans farkı yerine örnekleme değişkenliğini, ölçüm belirsizliğini veya yöntemin sınırlarını yansıtabilir.
Sunumda neyin karşılaştırıldığı, hangi koşulların sabit tutulduğu, örnek kapsamı ve gözlemlerin aralığı veya dağılımı belirtilmelidir. Ölçüm belirsizliği önemliyse, sonuçla birlikte verilmelidir veya yönteme uygun terimlerle açıklanmalıdır. NIST Technical Note 1297, ölçüm belirsizliğini değerlendirme ve ifade etme konusunda genel rehberlik sunar; ancak belirli bir ürün için kanıt sağlamaz.
Sonuçsuz kanıtları eşdeğerliğe dönüştürmeyin
Bir fark olduğuna dair yetersiz kanıt, iki ürünün eşit olduğunu kanıtlamaz. Eşdeğerlik, tanımlanmış kabul edilebilir bir marj ve bu soruyu değerlendirmek üzere tasarlanmış bir karşılaştırma gerektirir. Bu unsurlar olmadan doğru sonuç daha sınırlıdır: bu veri kümesi ve yöntem tarafından belirgin bir fark ortaya konmamıştır.
Örnekleme sınırları da önemlidir. NIST Engineering Statistics Handbook, kabul örneklemesinin öncelikle tanımlı bir partinin muhtemelen kabul edilebilir olup olmadığına ilişkin kararı desteklediğini; partinin genel kalitesini tahmin etmeyi amaçlamadığını belirtir. Benzer şekilde, sınırlı bir karşılaştırma temsil edilen örneklerin, sürümlerin veya partilerin ötesine genellenmemelidir.
Sınırlamaları sonucun bir parçası hâline getirin
Şeffaf bir karşılaştırma; örneklem büyüklüğü, eksik kontroller, kısıtlı test aralığı veya bir farkı gizleyecek kadar büyük belirsizlik gibi sınırlamaları belirtir. Tanıtım beklentileriyle uyuşmayan sonuçlar gizlenmek yerine korunmalıdır. Son açıklama, mevcut sonucu değiştirmeden ayrım yapmayı iyileştirecek ek kanıtları belirtebilir: test bir kazananı, eşitliği veya üstünlüğü ortaya koymamıştır.