(Не)упередженість в тестуванні

Кому доводилось розраховувати ROI, наприклад для впровадження автоматизації тестування, той знає, що результатами підрахунків можна в певній мірі маніпулювати. Наприклад аргументовано з графіками продемонструвати що інвестовані в автоматизацію тестування кошти почнуть окупатися вже за 3 місяці, хоча в реальному житті це може бути 7-8. Або навпаки: зрозуміти в результаті підрахунків, що інвестиція окупиться приблизно ніколи, й тому ці результати нікому не показувати 🙂 Як це робиться? – Коефіцієнт там, коефіцієнт сям.. й вуаля, “потрібний” результат готовий 😉
Ще один приклад упередженості в тестуванні, або швидше навіть зловмисної недбалості: іноді, нажаль, доводиться зустрічатись з “passed” тестами, яких насправді ніхто не торкався 🙁

Я от точно пам’ятаю що так ROI колись, років 12 тому рахував 🙂 А ви так робили? Зізнайтесь кнопочці внизу поста 😉

Тепер, власне історія.
Хочу замінити собі смартфон. Старенький 5-річний Huawei P9 все ще класно фотографує, але йому вже зле. Одним з основних критеріїв для мене є якість фото. За цим критерієм взяв би топовий актуальний Huawei, якби вони не були під санкціями з недоступними google apps. Тому придивляюсь до найновіших Samsung. Зокрема Samsung Galaxy S21 Ultra. В ньому на папері все дуже круто (крім ціни 🙁 ) Але ми всі достатньо дорослі щоб безоглядно довіряти маркетинговим матеріалам. Потрібні об’єктивні тести.
До суті. Якщо хто не знає, то одним з найвпливовіших ресурсів, що визначають фото рейтинги смартфонів, є dxomark (https://www.dxomark.com/rankings/#smartphones). Тож я чекав на результати тестів нового Ultra смартфону від Samsung саме від лабораторії DXO. Вони їх досить довго не надавали. Samsung презентував нову модель в середині січня, а результати тестів з’явились лише на початку березня. В такій затримці є певний сенс, оскільки патчі прошивки в перші місяці після релізу благотворно впливають на функціональність смартфону в цілому й камери зокрема. Й ось, нарешті, дочекались, є результати тестів (https://www.dxomark.com/samsung-galaxy-s21-ultra-5g-exynos-camera-review-dual-tele-with-room-for-improvement/)! .. але стривайте но, що це… 17-те місце?! Гірше минулорічного S20 Ultra? WTF?! Really?!
Перша реакція: розчарування (й полегшення, від того що зекономлю купу грошей 🙂 ) Але потім з’явилися сумніви, підкріплені численними сумнівами коментаторів під результатами тестів.
Причини для сумнівів:
❓ хоч і пройшло 1,5 місяця після релізу, й Samsung за цей час випустив як мінімум два серйозних патчі прошивки з “фіксами” для камер – DXO всі свої тести робили на preview версії прошивки.
Це як ретестити фікси багів не на тому білді…
❓ DXO для частини оцінюваних знімків має контрольовані “лабораторні” умови, для частини – вулиця. Але, так чи інакше, всі знімки доступні в оригіналі, з повним набором EXIF метаданих. … Всі крім Samsung Galaxy S21 Ultra! Майже на всіх знімках, зроблених для перевірки теле-фото режимів камер цього смартфона – навмисне затерті метадані!
Це як репортити баг, не вказуючи ані версію білда, ані версію браузера, ані енвайрмент, на якому його було знайдено…

І це тільки найкричущі відхилення від того, що можна було б назвати неупередженим підходом до тестування. Є ще й інші. Кому цікаво, ось тут стаття із доволі детальним розбором цих та інших невідповідностей: Deep Review – DxOMark проти Samsung (https://deep-review.com/news/dxomark-vs-samsung-galaxy-s21-ultra/).

Замість висновка:
Колись я подорослішав й зрозумів, що навіть лікарі помиляються. Це був як гром з неба. Потім я ще подорослішав й зрозумів, що досить часто вони не просто помиляються, а навіть роблять це навмисне з меркантильних міркувань. Світ перевернувся.. кому довіряти?
Якщо Ви маєте відповідь на це запитання, й ця відповідь – фактам, то вітаю, ви якщо й не тестувальник, то як мінімум розсудлива людина.
А якщо ви самі ці факти подаєте максимально неупереджено, то вітаю, ви ще й людина з наявними етичними стандартами.

PS а у вас там як, доводилось свідомо маніпулювати результатами на свою користь?