Flaky Testは検査結果が陰性と偽陽性の間を確率的に変化するテストケース。
Flaky Testは以下の点においてシステム開発に悪影響を与える。
- Flaky Testを通過するために再検査が必要と成るため、自動テストの時間を押し伸ばす要因となる
- 開発者が自動テストのテストケース群を信用しなくなり、自動テストのテストケースを保守する意欲を失わせる
- テストケースの失敗が偽陽性と真陽性のどちらなのかの区別が付きづらく、真陽性を取りこぼす可能性が上がり、本番環境に不具合があるコードを配備する可能性が高くなる
テストケースに関わる機材・コンポーネント・モジュール・システムの数が増えるほど、そのテストケースがFlaky Testになる傾向がある。
全体のテストスイートの1%程度になるにつれて、開発者がテストの失敗に反応しなくなると言われている。