(Не)упередженість в тестуванні

Кому доводилось розраховувати ROI, наприклад для впровадження автоматизації тестування, той знає, що результатами підрахунків можна в певній мірі маніпулювати. Наприклад аргументовано з графіками продемонструвати що інвестовані в автоматизацію тестування кошти почнуть окупатися вже за 3 місяці, хоча в реальному житті це може бути 7-8. Або навпаки: зрозуміти в результаті підрахунків, що інвестиція окупиться приблизно ніколи, й тому ці результати нікому не показувати 🙂 Як це робиться? – Коефіцієнт там, коефіцієнт сям.. й вуаля, “потрібний” результат готовий 😉
Ще один приклад упередженості в тестуванні, або швидше навіть зловмисної недбалості: іноді, нажаль, доводиться зустрічатись з “passed” тестами, яких насправді ніхто не торкався 🙁

Я от точно пам’ятаю що так ROI колись, років 12 тому рахував 🙂 А ви так робили? Зізнайтесь кнопочці внизу поста 😉

Тепер, власне історія.
Хочу замінити собі смартфон. Старенький 5-річний Huawei P9 все ще класно фотографує, але йому вже зле. Одним з основних критеріїв для мене є якість фото. За цим критерієм взяв би топовий актуальний Huawei, якби вони не були під санкціями з недоступними google apps. Тому придивляюсь до найновіших Samsung. Зокрема Samsung Galaxy S21 Ultra. В ньому на папері все дуже круто (крім ціни 🙁 ) Але ми всі достатньо дорослі щоб безоглядно довіряти маркетинговим матеріалам. Потрібні об’єктивні тести.
До суті. Якщо хто не знає, то одним з найвпливовіших ресурсів, що визначають фото рейтинги смартфонів, є dxomark (https://www.dxomark.com/rankings/#smartphones). Тож я чекав на результати тестів нового Ultra смартфону від Samsung саме від лабораторії DXO. Вони їх досить довго не надавали. Samsung презентував нову модель в середині січня, а результати тестів з’явились лише на початку березня. В такій затримці є певний сенс, оскільки патчі прошивки в перші місяці після релізу благотворно впливають на функціональність смартфону в цілому й камери зокрема. Й ось, нарешті, дочекались, є результати тестів (https://www.dxomark.com/samsung-galaxy-s21-ultra-5g-exynos-camera-review-dual-tele-with-room-for-improvement/)! .. але стривайте но, що це… 17-те місце?! Гірше минулорічного S20 Ultra? WTF?! Really?!
Перша реакція: розчарування (й полегшення, від того що зекономлю купу грошей 🙂 ) Але потім з’явилися сумніви, підкріплені численними сумнівами коментаторів під результатами тестів.
Причини для сумнівів:
❓ хоч і пройшло 1,5 місяця після релізу, й Samsung за цей час випустив як мінімум два серйозних патчі прошивки з “фіксами” для камер – DXO всі свої тести робили на preview версії прошивки.
Це як ретестити фікси багів не на тому білді…
❓ DXO для частини оцінюваних знімків має контрольовані “лабораторні” умови, для частини – вулиця. Але, так чи інакше, всі знімки доступні в оригіналі, з повним набором EXIF метаданих. … Всі крім Samsung Galaxy S21 Ultra! Майже на всіх знімках, зроблених для перевірки теле-фото режимів камер цього смартфона – навмисне затерті метадані!
Це як репортити баг, не вказуючи ані версію білда, ані версію браузера, ані енвайрмент, на якому його було знайдено…

І це тільки найкричущі відхилення від того, що можна було б назвати неупередженим підходом до тестування. Є ще й інші. Кому цікаво, ось тут стаття із доволі детальним розбором цих та інших невідповідностей: Deep Review – DxOMark проти Samsung (https://deep-review.com/news/dxomark-vs-samsung-galaxy-s21-ultra/).

Замість висновка:
Колись я подорослішав й зрозумів, що навіть лікарі помиляються. Це був як гром з неба. Потім я ще подорослішав й зрозумів, що досить часто вони не просто помиляються, а навіть роблять це навмисне з меркантильних міркувань. Світ перевернувся.. кому довіряти?
Якщо Ви маєте відповідь на це запитання, й ця відповідь – фактам, то вітаю, ви якщо й не тестувальник, то як мінімум розсудлива людина.
А якщо ви самі ці факти подаєте максимально неупереджено, то вітаю, ви ще й людина з наявними етичними стандартами.

PS а у вас там як, доводилось свідомо маніпулювати результатами на свою користь?

Позначки:
12 Березня 2021
Автор: 
  • Огляд доповідей QAFest 2019
  • “SOLID” в малюнках
  • Hunting a Linux kernel bug
  • DOU.UA – QA Digest 41

Долучитися до обговорення

1 коментар

  1. Ну, в світі “фотографій” в наш час довіряти можна тільки польовим фотографам. Тобто, тим хто активно використовує %технікунейм% в зйомках.
    Не блогерам, не технічним авторам.
    А фотографам.
    Практикуючим.

    І що екстремальніша зйомка, то вище рівень довіри “тестам”.
    Бо паркани, гілки та спини сонячного дня, все що знимкує армія “фототестерів”, все це легко та невимушено фотографується на обладнання якому років 10+. І після оновлення техніки на найсучаснішу іграшку, різниця буде тільки в виписці активності по платіжній картці.

    А всі оті синтетичні тести, на які цілодобово смикають задроти на технофорумах (якісь чомусь називаються фотофорумами), це така собі сублімація. Дешева, безпечна, можливість долучитися до світу фотографії, ничого, власне, не фотографуючи. Навіть гілки, паркани та спини сонячного дня 🙂

Залишити коментар

Залишити вiдгук