판정

QA 12년 중 실제로 어려웠던 건 버그를 찾는 일이 아니었다. 찾은 걸 뭐라고 부를지 정하는 일이었다.

PASS와 FAIL만 두면 자동화는 거짓말을 한다. 확신이 없는 케이스가 갈 곳이 없어서 둘 중 하나로 밀려 들어가고, 밀려 들어가는 쪽은 대개 PASS다.

쓴 글

글	무엇이 문제인가
임계값을 만지지 않았다	초록색으로 만들 수 있는데 안 만드는 경우
안 되는 게 결함인가, 아직 없는 건가	결함과 미구현을 가르는 근거를 어디서 얻나
「아마 맞다」는 판정이 아니다	무엇을 증거로 인정할지 등급을 안 매기면 무슨 일이 생기나

아직 안 쓴 것

• 판정 종류를 몇 개로 쪼갤 것인가
• 실패 사유 문자열이 다음 사람의 행동을 어떻게 바꾸는가

이 분류의 규칙

결과를 바꿔 통과시키는 방법을 알고 있으면, 그걸 안 썼다는 사실까지 같이 쓴다. 안 그러면 그 글은 자랑이 되고, 자랑은 다음 판정에 도움이 안 된다.