W hołdzie prostocie

W hardware'owym CHIPLab-ie nowe zasady wyłaniania najlepszego sprzętu komputerowego

Dążąc do ułatwienia interpretacji wyników testów porównawczych, dotychczasowy system oceny zastąpiono prostszą metodą, bazującą na procentowym udziale kryteriów cząstkowych. Stosowany do tej pory system ocen oparty na średniej geometrycznej, najlepiej nadawał się do „ważenia” not wyrażanych w różnych skalach. Na przykład w celu wyliczenia oceny końcowej z wyposażenia (punktacja 0-37), wydajności (wyniki na poziomie 250-430) idokumentacji (0-11) wystarczyło podstawić otrzymane wartości do wzoru średniej geometrycznej, wzmocnić zależności pomiędzy kategoriami, nadając im wagi i… ocena była gotowa. Docierały do nas jednak głosy Czytelników, że sposób oceny obrazowany piętrowym pierwiastkiem jest mało czytelny i zrozumiały, a jednoznaczne wskazanie wpływu poszczególnych kategorii na ocenę końcową – niełatwe. Specyfika średniej geometrycznej sprawiała też czasami, że mniej istotne kryteria (np. dokumentacja) w zbyt dużym stopniu wpływały na końcową ocenę, zwłaszcza gdy oceny były bardzo zróżnicowane. By temu zapobiegać, byliśmy zmuszeni do łączenia w jedną kategorię kilku kryteriów jednostkowych, co także mogło prowadzić do nieporozumień. Okazało się też, że metoda sprawdzająca się w pojedynczym teście w przypadku rankingu Top 10, szczególnie po dłuższym czasie aktualizacji, zaczyna deformować przyjęte wcześniej proporcje. Zwłaszcza niezwykle dynamiczny wzrost wydajności urządzeń sprawiał, że wpływ tej wartości na ocenę końcową stale rósł. Opisane zależności przyczyniły się do opracowania całkowicie nowego systemu obliczania ocen końcowych.

Ocena Możliwości (POWER) jest sumą uzyskanych w poszczególnych kategoriach wyników, wziętych z odpowiednią procentową wagą. ocena możliwości czyli poweru

Tak jak dotychczas w każdej kategorii urządzeniom przyznawane są punkty. Jedne wynikają z dołączonego oprogramowania, wyposażenia czy dokumentacji, inne bezpośrednio z pomiarów ergonomii czy wydajności. Po przeprowadzeniu testu zawsze wiadomo, jaka jest maksymalna liczba punktów, zdobyta przez najlepsze urządzenie w danej kategorii. Jeżeli np. ocenie poddawane są wyposażenie i dokumentacja płyt głównych, to maksymalna liczba punktów wynika z uwzględnianych elementów (np. wbudowany kontroler SCSI – 5 pkt, kompletny opis instalacji – 3 pkt). Jeżeli jednak trzeba porównać wydajność urządzeń, maksymalną wartość wyznacza zawsze najszybsze, uzyskując 100%, wszystkie wolniejsze zaś otrzymają niższe oceny. W każdej ocenianej kategorii punkty zdobyte przez poszczególne urządzenia są przedstawiane w skali procentowej wstosunku do maksimum (wyznaczonego przez uwzględniane kryteria lub najlepszy wynik).

Opisany system umożliwia płynne rozszerzanie procedury testowej bez konieczności przeprowadzania kolejnego testu porównawczego. Dołożenie nowego pomiaru lub kryterium zmieni tylko maksymalną liczbę punktów, jakie można uzyskać w danej kategorii. Dzięki temu wyniki wszystkich uprzednio przetestowanych urządzeń również można płynnie przeskalować. Dołożenie nowego elementu do listy, dostępnego dla danej grupy wyposażenia (np. w płytach głównych – kontrolera FireWire „za” 5 pkt) spowoduje zwiększenie maksymalnej liczby punktów w tej kategorii (tu: z 25 na 30 pkt). Po uwzględnieniu nowego elementu płyta, która w teście porównawczym wykazała się kompletnym wyposażeniem (100%), uzyska teraz 25 z 30 punktów, czyli 83,3%, a wszystkie pozostałe wyniki zostaną przeskalowane.

Końcowa ocena możliwości (POWER) obliczana jest jako suma ocen cząstkowych, uwzględniająca założone w procedurze proporcje (patrz wykres obok). Wzór do jej obliczenia wyglądałby zatem tak:

POWER=50%*Wyd + 35%*Wyp + 15%*D

Ze względu na znaczne rozbieżności cen urządzeń nadal zdarzać się będą potęgi przy wartości POWER lub przy cenie (C) podczas obliczania wskaźnika ECONO (możliwości/cena). Przykładowe wyliczenie może przyjąć postać:

ECONO = POWER2/C

Teoretyczne maksimum ocen POWER iECONO wynosi 100%. W praktyce zwykle tylko współczynnik możliwości/cena będzie osiągał tę wartość, gdyż 100% w kategorii POWER uzyska jedynie urządzenie idealne, o maksymalnych wynikach we wszystkich ocenianych kategoriach cząstkowych.

Ponieważ metoda „arytmetyczna” nie zmusza do ograniczania liczby kategorii bezpośrednio wpływających na ocenę końcową, będziemy prezentować nawet do ośmiu ocen cząstkowych. Szerokość wykresów odpowiada udziałowi poszczególnych not w ocenie końcowej.

ModelWydajność (50%)Wyposażenie (35%)Dokumentacja (15%)POWERECONO
płyta główna JEDEN
płyta główna DWA
płyta główna TRZY
94,4
100,0
77,8
wydajność48,8
89,2
68,4
wyposażenie80,3
61,7
92,7
dokumentacja76,3
90,5
76,7
78,3
100,0
85,3

a

ModelPOWERModelECONO
płyta główna DWA
płyta główna TRZY
płyta główna JEDEN
90,5
76,7
76,3
możliwości (power)płyta główna DWA
płyta główna TRZY
płyta główna JEDEN
100,0
85,3
78,3
możliwości/cena (econo)
Szerokości wykresów jednostkowych obrazujących wyniki w ocenianych kategoriach odzwierciedlają przyjęte w procedurze proporcje. Związane z nimi wartości informują o procentowym stosunku do teoretycznego maksimum (Wyposażenie, Dokumentacja) lub najszybszego modelu (Wydajność). Zróżnicowanie kolorów umożliwa wizualizację wpływu poszczególnych kategorii na lączną ocenę POWER.

Nowy sposób oceny zostanie również wykorzystany w rankingu Top 10 – wyniki będą stale przeskalowywane względem aktualnie najlepszych, toteż rezultat w żadnej kategorii nigdy nie przekroczy wartości 100%. W praktyce okaże się zapewne, że wydajność najszybszych dziś kart graficznych już za kilka miesięcy spadnie poniżej 50%…

Zmian związanych z wprowadzeniem nowego systemu oceny jest bardzo dużo. W praktyce przekładają się jednak na bardziej czytelny i zrozumiały sposób, zarówno oceny, jak i prezentacji uzyskanych wyników.

0
Zamknij

Choć staramy się je ograniczać, wykorzystujemy mechanizmy takie jak ciasteczka, które pozwalają naszym partnerom na śledzenie Twojego zachowania w sieci. Dowiedz się więcej.