VRT(Visual Regression Testing)は、システムの画面上の見た目の変化を検査する、自動テストの一種。
VRTを行うテストケースは、壊れやすく、偽陽性率が高い傾向がある。
自動テスト
2022/2/7 13:58:00
あれ『組織に自動テストを書く文化を根付かせる戦略（2024秋版） / Building Automated Test Culture 2024 Autumn Edition - Speaker Deck』『XユーザーのTakuto Wadaさん: 「多くの人が挫折しがちなポイントなのですが、かなり時間が経ったあとでテストコードを書く方が、テスト対象とほぼ同時にテストコードを書くよりも、技術的にはずっと難しいんですよね…… https://t.co/OWo1CSDRnU」 / X』テストオラクルファジングVitestあれあれあれあれテストコード偽陽性『質とスピード（2020秋100分拡大版） / Quality and Speed 2020 Autumn Edition』手動テストTest Double「不具合の修正時には必ず先に不具合を再現する自動テストを書いてから修正する」xUTP『自動テストに限界を感じた私がなぜ形式手法に魅了されたのか』PBTConsumer Driven Contract Testing各スプリントでリリースするにはテスト自動化が必須Flaky Test『自動テストに対して信頼がだんだん失われていく時とは』全体のテストスイートの1%程度になるにつれて、開発者がテストの失敗に反応しなくなる欠陥挿入偽陰性テストダブルあれあれあれ良い単体テストが備える特性あれ『Testable Lambda: Working Effectively with Legacy Lambda』あれあれあれ自動テストの損益分岐点は4回あれあれあれあれ自動テストができるあれあれあれあれ不具合発覚は自動テスト拡充のチャンスあれVRTPlaywright『t_wadaさんと「単体テストの使い方/考え方」の疑問点についてディスカッションしました』『『FFVII リメイク』は自動デバッグで、休日、夜間問わず、毎日数百回も通しプレイ中。ゲームのバグを自動で検知するシステムを開発【CEDEC 2020】』リファクタリング耐性fuzzingReact Testing Library自動テストは実質無料あれ空テストコードローカルで動くものは自動テストでは本物を使うモックあれ
Playwright
2023/11/3 22:10:00
『技術選定の失敗 2年間を振り返る TypeScript,Hono,Nest.js,React,GraphQL』PlaywrightをGitHub Actionsで走らせるあれ『2023年にVisual Regression Testingを始めるならどんな選択肢があるか』あれnpx playwright codegennpx playwright testnpx playwright test --ui『CypressはPlaywrightに負けてない』『キャリア台帳のE2EテストでPlaywrightを利用している話 - SmartHR Tech Blog』あれPlaywrightとCypressの速度比較
VRT
2024/3/25 22:57:00
あれ
2022/6/22 18:37:00
『t_wadaさんと「単体テストの使い方/考え方」の疑問点についてディスカッションしました』
2023/11/13 20:22:00
あれ
2023/10/23 22:46:00
会社でシステムの改修にたいして、Backlogのチケット単位での試験のエビデンスが必要になったので、どうしてやろうかとなってる。
せっかく自動テストやっとるので、自動テストやってる箇所についてはエビデンスもいい感じに生成されて欲しい。
jestで差分テストやって、その結果をチケットにコピペでぺってはったるのが一番素朴な感じ。
Githubでプルリク作ったらJestが走って、プルリクのコメントでJestの実行結果のレポート出るみたいな感じにしたいっすね。
JestのHTML reporter色々あるけど、定番とか無さげ？jest-junitがJestの公式で言及されてるけど、出力がXMLなので扱いがめんどい。
あれ
2023/10/20 12:23:00
作っているシステムがなかなか品証を通らずリリースできないでいる。
品証が通らなければリリースを翌週に延期してバクを直すのだが、時間が余って機能追加するものだからそれでまたバグるみたいなことを繰り返している。
自動テストを作ってもコレなので、システムの規模が大きくなると厄介だ。
なんとか今日中にバグを直して、品質保証して、翌週月曜日にリリースできるようにしたいけども、今日は午後から社員旅行で時間がなくて無理そう。
バグ直すだけならできると思うんだけど、自動テストの拡充チャンスなので、自動テスト化してから直したい。