t_wの輪郭

Flaky Testは検査結果が陰性と偽陽性の間を確率的に変化するテストケース。

Flaky Testは以下の点においてシステム開発に悪影響を与える。

• Flaky Testを通過するために再検査が必要と成るため、自動テストの時間を押し伸ばす要因となる
• 開発者が自動テストのテストケース群を信用しなくなり、自動テストのテストケースを保守する意欲を失わせる
• テストケースの失敗が偽陽性と真陽性のどちらなのかの区別が付きづらく、真陽性を取りこぼす可能性が上がり、本番環境に不具合があるコードを配備する可能性が高くなる

テストケースに関わる機材・コンポーネント・モジュール・システムの数が増えるほど、そのテストケースがFlaky Testになる傾向がある。

全体のテストスイートの1%程度になるにつれて、開発者がテストの失敗に反応しなくなると言われている。