t_wの輪郭

偽陰性（false-negative）は、検査対象が陽性であるにも関わらず、検査では陰性だと判定され、陽性だと判定されない状態を指す。

自動テストの文脈では、テスト対象の実装に不具合があるにも関わらず、テストケースが成功する状態を指す。すなわち、テストケースがテスト対象の不具合を検出できない状態となっている。

Flaky Testは検査結果が陰性と偽陽性の間を確率的に変化するテストケース。

Flaky Testは以下の点においてシステム開発に悪影響を与える。

• Flaky Testを通過するために再検査が必要と成るため、自動テストの時間を押し伸ばす要因となる
• 開発者が自動テストのテストケース群を信用しなくなり、自動テストのテストケースを保守する意欲を失わせる
• テストケースの失敗が偽陽性と真陽性のどちらなのかの区別が付きづらく、真陽性を取りこぼす可能性が上がり、本番環境に不具合があるコードを配備する可能性が高くなる

テストケースに関わる機材・コンポーネント・モジュール・システムの数が増えるほど、そのテストケースがFlaky Testになる傾向がある。

全体のテストスイートの1%程度になるにつれて、開発者がテストの失敗に反応しなくなると言われている。

VRT(Visual Regression Testing)は、システムの画面上の見た目の変化を検査する、自動テストの一種。

VRTを行うテストケースは、壊れやすく、偽陽性率が高い傾向がある。