t_wの輪郭

Feedlyでフォローするボタン
自動テスト検査陽性偽陰性false-positive

偽陽性

2024/3/25 23:03:00

偽陽性(false-positive)は、本当は検査対象が陽性ではないが、検査では陽性だと判定される状態を指す。

自動テストの文脈では、テスト対象の実装に問題が無いにも関わらず、テストケースが失敗する状態を指す。また、検査結果が陰性と偽陽性の間を確率的に変化するテストケースは、Flaky Testと呼ばれる。

VRT偽陰性Flaky Test

偽陰性

2024/3/26 0:09:00

偽陰性(false-negative)は、検査対象が陽性であるにも関わらず、検査では陰性だと判定され、陽性だと判定されない状態を指す。

自動テストの文脈では、テスト対象の実装に不具合があるにも関わらず、テストケースが成功する状態を指す。すなわち、テストケースがテスト対象の不具合を検出できない状態となっている。

Flaky Test

2024/3/25 23:20:00

Flaky Testは検査結果が陰性と偽陽性の間を確率的に変化するテストケース。

Flaky Testは以下の点においてシステム開発に悪影響を与える。

  • Flaky Testを通過するために再検査が必要と成るため、自動テストの時間を押し伸ばす要因となる
  • 開発者が自動テストのテストケース群を信用しなくなり、自動テストのテストケースを保守する意欲を失わせる
  • テストケースの失敗が偽陽性と真陽性のどちらなのかの区別が付きづらく、真陽性を取りこぼす可能性が上がり、本番環境に不具合があるコードを配備する可能性が高くなる

テストケースに関わる機材・コンポーネント・モジュール・システムの数が増えるほど、そのテストケースがFlaky Testになる傾向がある。

全体のテストスイートの1%程度になるにつれて、開発者がテストの失敗に反応しなくなると言われている。

VRT

2024/3/25 22:57:00

VRT(Visual Regression Testing)は、システムの画面上の見た目の変化を検査する、自動テストの一種。

VRTを行うテストケースは、壊れやすく、偽陽性率が高い傾向がある。