Üretkenlik için anlamlı bilgisayar kıyaslama testi gerçekleştirme kılavuzu

Kıyaslama programları, iyi tanımlanmış bir test ortamına (normalde bilgisayarın nihai yapılandırmasıyla uzaktan yakından ilgisi olmayan) dayalı olarak bir bilgisayarın “performansını” analiz etmeye çalışır. Kıyaslayıcı; sistem kaynakları, sanal yazılım ortamı, uygulamalar, işlem yükü simülasyonu, kullanıcı yükü simülasyonu ve sistem kullanım simülasyonu gibi karşı karşıya olduğu sınırların avantajını kullanabilir ve bu sınırları aşmak ve sorgulanabilir bir sonuç vermek için gereken her şeyi yapabilir. “Endüstri standardı bir kıyaslamaya sahip olmak, kıyaslamalar manipüle edilmediği sürece her zaman iyi bir şeydir. Ne yazık ki, birçok endüstri kıyaslaması manipüle edilmektedir. […] Yine de birçok kuruluş, iş yüklerini anlamak ve donanımı gereksinimlerine ve elbette bütçelerine göre satın almak yerine, kıyaslamalara dayanarak donanım satın alıyor gibi görünüyor.” (Newman, 2015) Bu durum, müşterinin tam olarak neyin ölçülmek istendiğini bilmesi gerektiğini açıklamaktadır. Bir kıyaslama programı asla sözde gerçek dünya deneyimini yansıtamayacak; yalnızca söz konusu programın amaçlanan bilgisayarda ne kadar iyi çalıştığını yansıtacaktır. Bu nedenle, sonucun üretken ortamda nasıl uygulanacağını belirlemek müşterinin sorumluluğundadır.

Şaşırtıcı bir şekilde, kıyaslamaları doğru bir şekilde yapmak gerçekten zor bir şeydir, çünkü kötü veya yanıltıcı sonuçlar doğuracak ve bazı şeyleri atlayacak birçok olasılık vardır. “Dosya Sistemi ve Depolama Kıyaslamasına İlişkin Dokuz Yıllık Bir Çalışma” başlıklı teknik rapor bunu şu şekilde özetlemektedir:

Bu makalede, 106 yeni makaleden 415 dosya sistemi ve depolama kıyaslamasını inceledik. En popüler kıyaslamaların hatalı olduğunu ve birçok araştırma makalesinin gerçek performansın net bir göstergesini sunmadığını gördük. (Traeger, Zadok, Joukov, & Wright, 2008)

Söz konusu teknik raporda, kıyaslamaların nelerin test edileceğini ve nedenini açıklaması gerektiğine dair ifadeler görülebilir; ayrıca beklenen sistem performansının bir tür analizini yapmalı (veya kolaylaştırmalıdırlar).

“Performans Karşıtı Kalıplar” makalesinde, bu durumda kıyaslamaların ne için ve nasıl çalıştırılması gerektiğini belirlemek için vurgulanan bazı noktalar vardır. Bu nedenle, iyi bir kıyaslama şu özelliklere sahip olmalıdır:

• Tekrarlanabilir, böylece karşılaştırma deneyleri nispeten kolay ve makul bir kesinlik derecesiyle yürütülebilir.
• Gözlemlenebilir, böylece zayıf performans görülürse, geliştiricinin başlangıç yapabileceği bir nokta olur. Tek bir sayı veren karmaşık bir kıyaslamadan daha sinir bozucu bir şey yoktur; bu da geliştiriciyi sorunun nerede olabileceğine dair hiçbir ek bilgi bırakmaz.
• Taşınabilir, böylece ana rakiplerinizle karşılaştırmalar mümkün olur (kendi önceki sürümleriniz olsalar bile). Önceki sürümlerin performans geçmişini tutmak, kendi geliştirme sürecinizi anlamak için değerli bir yardımcıdır.
• Kolay sunulabilir, böylece herkes karşılaştırmaları kısa bir sunumda anlayabilir.
• Gerçekçi, böylece ölçümler müşterinin deneyimlediği gerçekleri yansıtır.
• Çalıştırılabilir, böylece tüm geliştiriciler değişikliklerinin etkilerini hızlı bir şekilde tespit edebilir. Performans sonuçlarını almak günler sürerse, bu çok sık gerçekleşmeyecektir.

Seçilen tüm kıyaslamalar bu kriterlerin hepsini karşılamayacaktır, ancak bazılarının karşılaması önemlidir. Smaalders, müşteri ihtiyaçlarını gerçekten temsil eden kıyaslamaların seçilmesini önerir, aksi takdirde tüm çabalar yanlış davranış için optimize etmekle sonuçlanacaktır. Ayrıca, yarışmayı ne pahasına olursa olsun kazanmak amacıyla kıyaslamayı optimize etme cazibesine karşı koymayı teşvik eder. Böyle bir davranış, marka veya sağlayıcıya olan güven eksikliğini beraberinde getirebilecek sahte sonuçlar sunacaktır. Genellikle bir kıyaslama, ölçülmeyen (ve müşteri için önemli olabilecek) diğer hususların pahasına, optimize edilen yönü vurgulayacaktır. (Smaalders, 2006)

Çeşitli sistemleri satın alma niyetiyle karşılaştırırken bir şey daha vardır: fiyat/performans oranı. Bu oran, ekipmanın 5 yıllık sermaye maliyeti dahil edilerek ölçülebilir. (Anon & Gray, 1985)

Kıyaslama yazılımı ile yapılan basit testler, tam bir performans analizi oluşturmaz. Kıyaslama programları normalde kontrollü bir ortamda çalıştığından, istenen oranı—mümkün olan en yüksek oranı—elde etmek için manipüle edilebilirler. Yine de, böyle bir oran bize asla gerçek müşteri deneyimiyle düzgün bir korelasyon vermeyecektir. Aksine, sağlanan metrikler size yalnızca belirli bir kıyaslamada ne kadar iyi çalıştığını temsil eden bir puan sağlar. Büyük bir sorun, kullanıcının neyin test edildiğini, bir kıyaslama puanının yönlerinin nasıl ölçüldüğünü, derleyicide hangi bayrakların ayarlandığını, programın altında hangi kodun veya kütüphanelerin olduğunu ve daha da önemlisi, programın test ettiği şeyin bilgisayar için amaçlanan gerçek kullanımı yansıtıp yansıtmayacağını asla gerçekten bilememesidir. Bu nedenle, belirtilmesi gereken bazı noktalar vardır:

• Bir kıyaslama asla gerçek dünya kullanımını yansıtmayacaktır. Tamamen otomatik bir program olduğu için, tamamen otomatik bir şekilde açacak, yazacak, ayarlayacak, okuyacak, kaydedecek, gösterecek, bakacak, gezinecek, taşıyacak, hesaplayacak, atayacak ve diğer birçok görevi yapacaktır. Bu yol, bir insanın işini yapacağı tempoyu asla yansıtmayacaktır. Bu nedenle, gerçek dünya kullanımına dayalı sonuçlar vaat eden herhangi bir kıyaslama programı yalan söylüyordur.
• Tüm kıyaslamalar çoklu görev (multitasking) performansını değerlendirmez. Kıyaslamaların büyük çoğunluğu yalnızca seri olarak yürütülen görevleri değerlendirir. Bir şeyi test ederler ve ardından bir sonrakini. Bir uygulama başka bir şey yaparken bir uygulamayı başka bir şey yapmaya asla zorlamazlar (ve eğer öyleyse, normalde iki veya en fazla üç örnek denerler). Gerçek hayatta kullanıcılar aynı anda birden fazla uygulama çalıştırır. Çoğu kullanıcı aynı anda birçok uygulama açar (İşletim Sistemi de biz günlük işlerimizi yaparken birçok görev yürütür). Sadece bir süreci/uygulamayı yansıtan bir kıyaslamanın, ikinci, üçüncü ve diğer süreçlerle/uygulamalarla doğrusal olarak ölçeklenmediğini belirtmekte fayda var. Bu nedenle, modern çok çekirdekli teknolojide, bir kıyaslama programının sonuçlarını ihtiyatlı bir şekilde ele almak önemlidir.
• “Oran”, “performans” ile aynı şey değildir. Oran, program tarafından verilen sadece bir sayıdır. Performans daha karmaşık bir şeydir. Oran sayısı, kıyaslama programına ve geliştiricilerinin belirttiği ölçeğe bağlıdır. Performans, önceden belirlenmiş doğruluk, tamlık, maliyet ve hız standartlarına göre ölçülen belirli bir görevin başarılmasıdır (The Business Dictionary, 2017). Bu nedenle, hiçbir kıyaslama programı oranı bir performans endeksini yansıtmaz.
• Kıyaslamalar hatalıdır. Bir kıyaslama programının oranındaki değişim %10'a kadar (bazen daha fazla) olabilir. Bu kıyaslama oranları her zaman özneldir, bu da bilimin ve teknolojinin nesnel ilkelerine aykırıdır. Bu nedenle, verilen oranın ortalamasını hesaplamak için bir kıyaslama programı en az 3 kez çalıştırılmalıdır. Ortalama belirlendikten sonra, sonucun en az +/-%3'lük bir değişimi beklenir (böyle bir değişim toplanan sonuçlara dayalı olarak hesaplanabilir).
• Kıyaslama sonuçları manipüle edilebilir. Bir kıyaslama programının sonuçlarını manipüle etmenin ve sadece kullanıcıyı etkilemek için yapay olarak yüksek oranlar sunmanın yolları vardır. Bu, aşırı ince ayar, BIOS ayarları, donanım değişikliği, özel sürücülerin kullanımı, kod manipülasyonu ve diğerleri gibi birçok teknikle yapılabilir. Kıyaslama oranları, bilgisayarın pratikte nasıl kullanılacağına kıyasla gerçekçi olmayan ayarlarla elde edilebilir: sistemin programlardan ve süreçlerden arındırılmış olması ve belirli kıyaslamaya bağlı belirli değerlere sahip olması gerekir ve bu, bilgisayarın üretkenlikte kullanılma şeklini yansıtmaz. Henry Newman'ın belirttiği gibi: “Bir kıyaslamanın bize söyledikleri şunlardır: 1) Bir satıcının bir kutuya ne kadar donanım sığdırabileceği, 2) Satıcı ekibinin [kıyaslama için] yazılımı ne kadar iyi optimize edebileceği ve, 3) Satıcının anlaşmayı ne kadar çok istediği.” (Olds & OrionX, 2011) Müşteri tarafından net bir şekilde belirtilmiş bir kıyaslama protokolü yoksa, kıyaslamayı yapan kişinin istenen sonuçlara ulaşmak (veya aşmak) ve müşteriyi etkilemek için yapabileceği her türlü hileye kapı açık kalacaktır.

Sonuç olarak, bir kıyaslama programı kesin bir araç değildir ve dikkatli kullanılmalıdır. Henry Newman'ın kişisel bir iletişimde belirttiği gibi, “Sistem performans araçlarını […] kıyaslamalarla […] karşılaştırmak, elmaları uçan domuzlarla karşılaştırmak gibidir.” (Carrier, 2012)

Bir kıyaslama tarafından sağlanan puanlar, genel sistem performansını tam olarak anlamak için diğer kıyaslamalar ve ek ayrıntılarla birlikte kullanılmalıdır. Kıyaslama, en iyi ihtimalle sadece bir bilgisayarın “hızını ölçmektedir”, ancak dikkate alınması gereken başka birçok husus vardır: ticari standartlar, askeri standartlar, işlevsellik, özellikler, sertifikalar, fiyat, diğerlerinin yanı sıra.

Satın alınması için değerlendirilen bilgisayarın çeşitli farklı kullanıcı gereksinimlerini karşılaması gerekiyorsa, uygun nitelik kriterlerinden oluşan ayrıntılı bir setin oluşturulabilmesi için amaçlanan kullanım durumlarını önceden belirlemek en iyisidir. Çoğu durumda, bilgisayar muhtemelen aşağıdaki bağlamlardan birinde veya birkaçında kullanılacaktır:

• Mevcut grafiksel işletim ortamlarıyla (en azından Windows 10 veya GNU/Linux dağıtımları) kullanılacaktır
  • Veya Windows 7 veya Windows 8.1 gibi önceki işletim sistemi sürümleriyle veya önceki bir GNU/Linux dağıtımıyla kullanılacaksa.
• Temel Üretkenlik (Aşağıdakiler dahil, çalışan 5'ten fazla uygulama yok):
  • Antivirüs
  • Kelime işlemci
  • E-posta
  • Elektronik tabloların hafif kullanımı
  • Web tabanlı uygulamalar
  • 6'dan fazla sekme açık olmadan web'de gezinme.
• Standart Üretkenlik (Aşağıdakiler dahil, 5 ila 10 uygulama çalışıyor):
  • Temel Üretkenlik ile aynı ve ayrıca…
  • Ofis uygulamaları (Görüntü manipülasyonu ile kelime işlemci, formüller ve bazı komut dosyaları ile elektronik tablolar, Sunumlar, Temel veritabanı yönetimi)
  • 15 sekmeye kadar web'de gezinme
  • Web konferansı
  • Görüntü ve videoların görüntülenmesi ve basit düzenlenmesi
  • Eğitim
  • Videoların, görüntülerin, animasyonların, web erişiminin ve şu anda hızlandırılmış bilgi işlem kullanan uygulamaların yoğun kullanımını varsayabilir.
• Güçlü Kullanıcı (Aşağıdakiler dahil, 10'dan fazla uygulama çalışıyor):
  • Standart Üretkenlik ile aynı ve ayrıca…
  • Uygulama geliştirme
    • Programlama dilleri ve ortamlarının kullanımı
    • Veritabanları oluşturma, yönetme ve test etme,
    • Sanallaştırma ile test ortamı
    • Kontrollü test ortamları
  • Bilimsel araştırma programları
    • Uzmanlaşmış uygulamalar
    • Mühendislik ve bilimsel uygulamalar
    • Sanal Gerçeklik
• Sadece genel bilgi için, oyunlar şu anda yüksek performanslı bilgi işlem olarak kabul edilmektedir (Stevenson, Le Du, & El Afrit, 2011)
• Diğer kriterler
  • Düşük güç tüketimi gerekli mi?
  • Bilgisayarın kapladığı alan önemli mi veya sınırlı mı?
  • Mobilite gerekli mi?
  • Pil kullanım süresi önemli mi?
  • Ağırlık önemli mi?
  • Sert, tozlu veya gürültülü ortamlarda taşınabilir kullanımı ima eden diğer bazı kullanımlar

Bu bölümün başlığındaki terim garip görünebilir, ancak aslında genellikle göz ardı edilen veya ihmal edilen bir konudur. Şu soruya atıfta bulunur: Kullanıcı için gerçekten hangi yanıt süresi önemlidir? Hız ve performans aslında göreceli terimlerdir. Ilya Grigorik, “performans” kelimesinin ne anlama geldiğine dair ilginç bir kavram önerir.

“Performans sadece milisaniyeler, kareler ve megabaytlar değildir. Aynı zamanda bu milisaniyelerin, karelerin ve megabaytların kullanıcının uygulamayı nasıl algıladığına nasıl dönüştüğüdür.” (Grigorik, 2014)

Her uygulama; iş kriterlerine, bağlama, kullanıcı beklentilerine ve tamamen kullanıcıya yönelik algısal işlem süresi sabitlerine göre kendi gereksinim setini belirler. Yine, kullanıcı beklentilerinin Maister'ın birinci yasasıyla bir ilişkisi vardır; “Memnuniyet, algı eksi beklentiye eşittir.” (Maister, 1985) Yaşam ne kadar hızlanırsa hızlansın veya en azından hızlandığı algılansa bile (her 66ms'de 1 kare), tepki sürelerimiz sabit kalır. Geleneksel çalışmalara göre bir kullanıcının saniyede yaklaşık 15 kare görebileceğini düşünürsek (Thorpe, Fize, & Marlot, 1996), aşağıdaki tablo (Askeri Standart 1472G'ye dayalı olarak) bir kullanıcının normalde beklediği yanıt süresi hakkında net bir fikir verir. Bu, uygulamanın türünden (bilgisayarda yüklü veya çevrimiçi) veya ortamdan (dizüstü bilgisayar, masaüstü veya mobil cihaz) bağımsızdır.

Gerçek Zaman ve Kullanıcı Algısı (Seow, 2008)

• 0 – 100 ms: Anlık
• 100 – 500 ms: Acil
• 500 – 1000 ms: Hızlı
• 1 – 10 s: Bir gecikme algılanır, ancak kullanıcı odağını kaybetmez.
• +10 s: Bilgisayar, kullanıcının dikkatini tutamayacak kadar yavaştır.

Bir kullanıcı talebine verilen yanıtın hızlı olarak algılanması için bir saniyenin altında gelmesi gerekir. Bir saniye veya daha uzun sürerse, kullanıcı belirli bir gecikme algılayabilir, ancak dikkati görevden uzaklaşmayacaktır. 10 saniyeden sonra—program kullanıcıya bir tür bilgi sağlamadığı sürece—görev normalde terk edilecek ve kullanıcı rahatsızlık yaşayacaktır. Değerlendirilen bilgisayar yanıtları karşılaştırılabilir bir sürede veya 10 saniyenin altında verebiliyorsa, kullanıcı bilgisayardan daha fazla verim alacaktır. Bu eşikler gerçek dünyada, anlamlarına dair net bir rehberlik sunmayan kıyaslama programlarının sonuçlarından çok daha yararlıdır.

Bununla birlikte, etkili bir kıyaslamada müşteri şunları bilmelidir: nasıl uygulanacağı, analizi ve ondan elde edilecek sonuçlar. Analiz için, şunları anlamak veya getirmek önemlidir:

• Minimum beklenen sonucun bir eşiği veya referansı
• Neyin test edileceği
• Sınırlayıcı faktörlerin neler olduğu
• Sonuçları etkileyebilecek herhangi bir sapma
• Test edilen sistemin ayrıntıları
• Test edilen sistemin fiyatı (en azından ortalaması)
• Sonuçlarla hangi sonuçlara ulaşılmak istendiği

Eşik, genel sitelerden (Futuremark gibi) elde edilebilir veya sunulacak bilgisayarlardan her bir kıyaslama için temel çizgiyi belirlemek amacıyla şu anda kullanımda olan ve iyi bir yapılandırmaya sahip bir bilgisayardan yerel olarak oluşturulabilir. Net bir fikir sahibi olmak için temel çizgi olarak kullanılan bu bilgisayarın yapılandırma ayrıntılarını (işlemci, bellek [miktar, hız, yapılandırma, zamanlamalar], depolama, grafikler ve monitör) not edin.

Kıyaslamaların analizi, doğru bir şekilde yapılması için zaman ve deneyim gerektirir. Söylediğimiz gibi, en önemli kısım neyin ölçülmekte olduğunu ve elde edilen sonuçların bilgisayarların amaçlanan kullanımı için anlamlı olup olmadığını belirlemektir.

Aşağıdakiler, seçilen veya uygulanan kıyaslamaların adil ve gerçekçi sonuçlarını—mümkün olduğunca—sağlamak için önerilen bir kıyaslama protokolüdür.

Yapılandırma ve kıyaslama süreçleri için, özellikle kıyaslamayı yapan kişi üçüncü bir tarafsa, kıyaslamayı yapan kişiyi yalnız bırakmamanız önerilir. Müşteri, kıyaslayıcının makineyi kıyaslama süreci için yapılandırmak amacıyla yaptığı her şeyi not etmesi için bir şahit atamalıdır. Ayrıca şahit, kıyaslayıcının her kıyaslama testi türünden sonra yaptığı değişiklikleri veya modifikasyonları da not etmelidir. Müşteri olarak iyi tanımlanmış bir protokolünüz varsa, kıyaslayıcı sadece kıyaslama sürecini kazanmak için bunu ihlal etmemelidir. Kıyaslayıcı ve şahit aynı kişi olmamalıdır, yine özellikle kıyaslayıcı üçüncü bir tarafsa.

Sunulan marka veya donanım ne olursa olsun, tüm bilgisayarlar şu yapılandırma kriterlerini karşılamalıdır:

• Fiziksel dört çekirdekli işlemciler istediyseniz, hepsinin dört fiziksel çekirdeği olmalıdır.
• Belirli miktarda, hızda ve RAM yapılandırmasında istediyseniz, tüm bilgisayarların aynı yapılandırmaya sahip olup olmadığını kontrol edin. Herhangi bir farkı not edin:
  • Boyut
  • Hız (MT/s)
  • Zamanlamalar ve gecikmeler (CAS, RAS, tRAS, tRC, Frekans).
  • Tek kanal vs Çift Kanal
• Belirli bir depolama türü istediyseniz, tüm bilgisayarların bu tür depolamayı içerdiğini kontrol edin. Bulunan farkları not edin (iş hacmi, erişim süreleri ve yazma süreleri):
  • Standart Dönel Sabit Disk (5400RPM, 7200RPM, 10000RPM, SSHD)
  • SSD
• Ekran kartı, Windows 10 için Shader Model 6.1 (DirectX 12.1) veya Windows'un önceki sürümleri için Shader Model 5 (DirectX 11) ile uyumlu olmalıdır.
• Monitör her bilgisayarda aynı özellikleri karşılamalıdır
  • Yenileme süreleri
  • Yanıt süreleri (ms)
  • Çözünürlük (daha yüksek çözünürlükler daha düşük kıyaslama sayıları getirebilir)
  • Renk derinliği
• İşletim sistemi aynı sürüm ve derleme olmalıdır.
  • Windows'ta winver yazıp Cortana kutusuna veya Windows+R tuşlarına basıp Çalıştır penceresini getirdikten sonra Return tuşuna basarak sürümü ve derlemeyi görebilirsiniz.
• Her bilgisayarda yalnızca bilgisayar üreticisi tarafından onaylanan güncel sürücüler yüklü olmalıdır. Not: Bir bileşen üreticisi tarafından getirilen özel sürücülerin veya ince ayarlı sürücülerin kullanımına izin vermeyin, çünkü bunlar sahte sonuçlar getirebilir. Bilgisayar üreticisinin Web Sitesinde veya Kurulum Aracında doğrulanmış ve halka açık olanların dışındaki sürücülerin kullanımından kaçının.
• Bilgisayarı Dengeli modda yapılandırın. Bilgisayarların müşteri tarafından kullanılma amacı bu şekildedir ve kıyaslamalardan sonuç almanın en sadık yoludur.
• Müşterinin yaygın olarak kullandığı uygulamaları yükleyin. Testte kullanılmayacak olsalar bile, bilgisayarların kullanılma şekli budur.
• Müşterinin gerektirdiği diğer yazılımları (antivirüs ve araçlar gibi) yükleyin. Bu, yapılandırmayı son kullanıcının kullanacağı hale en yakın şekilde ayarlayacaktır.
• Kıyaslama programlarını yükleyin.

Bilgisayarlar kurulduktan sonra, sıcak kıyaslama yapılması önerilir. Sıcak kıyaslama, kıyaslama süreci boyunca gerçekleşen her şeyi (testin atlanan bölümleri, eksik adımlar, ekran hataları, kötü çizilmiş şekiller veya görüntüler vb.) not eden bir mühendise (teknisyen değil, Mühendis) ihtiyaç duyar. Bu tür anormallikler not edilmeli ve rapor edilmelidir. Soğuk kıyaslamadan (sadece kıyaslamayı çalıştır, bilgisayarın başından ayrıl ve ardından sadece sonucu not etmek için geri dön) kaçınmanız önerilir, çünkü kıyaslama sırasında garip davranışların hiçbir kanıtı not edilmeyecektir. Belirtildiği gibi, kıyaslama oranlarını manipüle etmenin yolları vardır ve soğuk kıyaslama yapmak, bu tür uygulamaları kaçırmanın en iyi yoludur.

Kıyaslama oranları %5 ila %15 arasında değişim gösterebileceğinden, her testi en az 3 kez çalıştırmanız önerilir. Her seferinde bilgisayarı yeniden başlatmak, masaüstü göründükten sonra yaklaşık 5 dakika beklemek ve ardından kıyaslamayı tekrar çalıştırmak gerekecektir. Her kıyaslama çalışmasından sonra, kanıtı kaydetmek için sonucun ekran görüntüsünü almanız önerilir. Bu, seçilen her kıyaslama programında yapılmalıdır.

Her kıyaslamanın her çalıştırılmasıyla elde edilen farklı oranların ortalamasının mı alınacağına, yoksa en yüksek veya en düşük değerin mi alınacağına karar vermek müşteriye kalmıştır. Müşteri hangi kararı verirse versin, bunu kullanılan tüm farklı kıyaslamalara uygulaması önerilir. Bir öneri olarak, ortalamayı tercih edin.

Bu sonuçları elde ettikten sonra, bunlar normalleştirilebilir (bu belgenin gövdesindeki gibi) ve ardından doğrusal olarak zamanlara dönüştürülebilir. Bilgisayarların fiyatıyla müşteri, hangi sistemin en iyi fiyat/performans oranını verdiğini de değerlendirebilir.

Bir kıyaslama süreci zaman, deneyim ve sabır gerektirir. İyi yapıldıklarında, kıyaslama programları bilgisayarın beklenen performansı hakkında iyi bir fikir verebilir. Şahit tarafından not edilen her şey, seçilmesi durumunda yarışmacının neleri sağlaması gerektiğini belirlemek için yararlı olacaktır. Kıyaslama süreci sırasında not edilen yapılandırma (işlemci, RAM [miktar, hız, zamanlamalar, kanal modu], depolama [tür, iş hacmi, kapasite], monitör, form faktörü vb.), teslim edilen bilgisayarın tam olarak test edildiği gibi yapılandırılmasını sağlamak için yararlı olacaktır. Bu önemlidir çünkü bazı istismarcı sağlayıcılar sadece test süreci için özel olarak yapılandırılmış bir bilgisayar ve sonunda çok farklı bir bilgisayar teslim edebilir. Bu nedenle, bu durum müşterinin tam olarak test edileni almasına yardımcı olacaktır.

Önceki tüm tartışmalardan şu sonuç çıkarılabilir:

• Müşterinin yaptığı alımlar sadece bir işlemci veya belirli bir bileşen için değil, bilgisayarlar içindir. Bu nedenle, bir satın alma kararı verirken genel sistemi (bütünsel olarak) dikkate almak gerekir.
• Bir bilgisayarın performansı tüm öğelerinden kaynaklanır. Bu, donanım ve yazılımı içerir. Bilgisayarın genel performansı her zaman en yavaş öğesinin performansına eşit olacaktır.
• Enerji tasarrufu önlemlerini, ısı üretimini, bilgisayarın kararlılığını, iş kullanımı için sertifikalarını ve sunduğu güvenlik hizmetlerini dikkate almak gerekir. Sadece kıyaslama tabanlı hızdan daha fazlası, mevcut teknoloji azaltılmış enerji tüketimi ve güvenlik hizmetleri sağlanmasını gerektirir.
• Uygulamalara ve işletim sistemlerine entegre edilen yeni teknolojilerin işlemciden çok daha fazlasından yararlandığının farkında olmak önemlidir. Aksine, CPU, GPGPU, veriyolları, RAM hızı ve disk aktarım hızı gibi diğer bileşenlere daha fazla odaklanırlar.
• Bilgi işlem gücünün gerçek bir ölçüsü, bilgisayar bütünsel olarak ölçüldüğünde, sadece seri işleme veya CPU alanında değil, elde edilir. Ofis araçları, web tarayıcıları, dosya sıkıştırma, video oynatıcılar, telekonferans araçları, web tabanlı uygulamalar ve benzeri şeyleri kullanan müşteri, heterojen mimariye sahip bu yeni teknolojilerin tüm özelliklerinden yararlanacaktır.

Bununla ilgili son bir not, alınacak performans iyileştirmeleri hakkında daha iyi bir fikir edinmek için her zaman bir eşik veya referansa ihtiyaç duyulmasıdır. FutureMark tarafından mevcut tarihe kadar bir “Referans Ofis PC” pounder'ı için sunulan temel ölçümü kullanmak istemiyorsanız, ofisinizdeki temel bilgisayarınızı kendi kriterlerinize göre (belki de standart performansından memnun olduğunuz bir bilgisayar) ölçebilirsiniz. Sonuçlarını almak için kıyaslamayı çalıştırdıktan sonra, sunulan çözümlerin minimum beklenen oranlarına sahip olmak için bu sonuçları bir eşik olarak kullanabilirsiniz. Not edilmesi gereken bir diğer şey de “oranların”, “performans” ile aynı şey olmadığıdır. Bir “oran” sadece kıyaslama programı tarafından yürütülen süreçlerin bir kalifikasyonunu verir. “Performans”, o bilgisayarı kendi görevlerinizde kullandıkça elde edeceğiniz gerçek sonuçtur.

Anon, E. A., & Gray, J. (Şubat, 1985). A Measure of Transaction Processing Power. 22 Mart 2015 tarihinde Internet Archive'den alındı: https://archive.org/details/bitsavers_ta...

Carrier, J. (24 Nisan 2012). HPCS I/O Scenarios. OpenSFS'den alındı: http://cdn.opensfs.org/wp-content/upload...

Computerhope. (15 Mart 2015). Thrashing. Computer hope'tan alındı: http://www.computerhope.com/jargon/t/thr...

Gregg, B. (2014). Systems Performance Enterprise and the Cloud (1. basım). ABD: Pearson Education.

Grigorik, I. (12 Mart 2014). Speed, Performance, and Human Perception. (Fluent, Ed.) San Francisco, CA, ABD. 22 Mart 2015 tarihinde https://www.youtube.com/watch?v=7ubJzEi3... adresinden alındı.

Hoff. (30 Aralık 2006). Multicore, SMP and SMT Processors. 22 Mart 2015 tarihinde HoffmanLabs'tan alındı: http://labs.hoffmanlabs.com/node/13

Maister, D. (1985). The Psychology of Waiting Lines. (T. S. Encounter, Ed.) 22 Mart 2015 tarihinde David Maister: Professional Business, Professional Life'tan alındı: http://davidmaister.com/wp-content/theme...

Mallik, A. (2007). Hollistic Computer Architectures based on Application, User, and Process Characteristics. Evanston, Illinois, ABD: UMI.

Newman, H. (2015). Data Storage Issues: Big Data Benchmarking. InfoStor'dan alındı: http://www.infostor.com/index/blogs_new/...

Olds, D., & OrionX. (19 Aralık 2011). Benchmarks are $%#&@!! The Register'dan alındı: http://www.theregister.co.uk/2011/12/19/...

Osterhage, W. (2013). Computer Performance Optimization (1. basım). (Springer-Verlag, Çev.) Niederbachem, Almanya: Springer-Verlag Berlin Heidelberg.

Seow, S. (2008). Designing and Engineering Time. Boston, ABD: Prentice Hall.

Smaalders, B. (23 Şubat 2006). Performance Anti-Patterns. doi:1542-7790/06/0200

Stevenson, A., Le Du, Y., & El Afrit, M. (Mart, 2011). High Performance Computing on Gamer PCs. ArsTechnica'dan alındı: http://arstechnica.com/science/2011/03/h...

The Business Dictionary. (2017). Performance. The Business Dictionary'den alındı: http://www.businessdictionary.com/defini...

Thorpe, S., Fize, D., & Marlot, C. (6 Haziran 1996). Speed of processing in the human visual system. Nature, 381, 520-522. Quora'dan alındı: http://cns.bu.edu/Profiles/Mingolla.html...

Traeger, A., Zadok, E., Joukov, N., & Wright, C. (2008, Mayıs). A Nine Year Study of File System and Storage Benchmarking. 22 Mart 2015 tarihinde File systems and Storage Lab (FSL)'den alındı: http://www.fsl.cs.sunysb.edu/docs/fsbenc...

Vieira, L. (3 Ekim 2011). The Perception of Performance. 22 Mart 2015 tarihinde Sitepoint'ten alındı: http://www.sitepoint.com/the-perception-...