7.2워크플로 개선을 지표로 증명하기

도입 효과를 보고하라는 요구를 받으면 손에 잡히는 숫자부터 쓰게 됩니다. 세션 수, 생성된 코드 줄 수, 도구 호출 횟수 같은 것입니다. 이런 활동량 지표는 도입 여부를 보여 줄 뿐 개선을 보여 주지 않습니다.

문제는 두 가지입니다. 첫째, 방향이 모호합니다. 코드 줄 수가 늘어난 것은 생산성이 올라간 것일 수도, 불필요한 코드가 늘어난 것일 수도 있습니다. 둘째, 조작하기 쉽습니다. 지표가 평가에 쓰이면 사람들은 그 지표를 올리는 방식으로 행동을 바꿉니다.

성과에 가까운 지표는 결과물이 흘러가는 속도와 품질에서 나옵니다.

층위	예시	성격
활동량	세션 수, 토큰 사용량	도입 여부
산출	커밋 수, PR 수	중간 지표
흐름	첫 리뷰까지 걸린 시간, 병합까지 걸린 시간	성과에 근접
품질	변경 실패율, 되돌림 비율, 결함 유입	성과

활동량 지표를 아예 버리라는 뜻은 아닙니다. 비용을 이해하고 도입률을 파악하는 데는 필요하지만, 그것만으로 개선을 주장하면 안 된다는 것입니다. 흐름과 품질 지표를 함께 제시해야 이해관계자를 설득할 수 있고, 이는 6장의 기대치 정렬과 직접 이어집니다.

Claude Code는 OpenTelemetry 기반 텔레메트리를 내보낼 수 있습니다. 조직 차원의 사용량과 비용을 집계하려면 이 경로를 씁니다.

수집되는 지표에는 다음이 포함됩니다.

• claude_code.session.count — 시작된 세션 수
• claude_code.lines_of_code.count — 수정된 코드 줄 수
• claude_code.pull_request.count — 생성된 풀 리퀘스트 수
• claude_code.commit.count — 생성된 커밋 수
• claude_code.cost.usage — 세션 비용
• claude_code.token.usage — 사용 토큰
• claude_code.code_edit_tool.decision — 코드 편집 도구의 권한 판정
• claude_code.active_time.total — 총 활동 시간

활성화는 환경 변수로 합니다.

export CLAUDE_CODE_ENABLE_TELEMETRY=1
export OTEL_METRICS_EXPORTER=otlp
export OTEL_EXPORTER_OTLP_PROTOCOL=grpc
export OTEL_EXPORTER_OTLP_ENDPOINT=http://collector.internal:4317

이 목록에서 눈여겨볼 것은 code_edit_tool.decision입니다. 권한 판정 결과가 지표로 나오므로, 앞 수업에서 다룬 정책의 건강성을 관측하는 데 쓸 수 있습니다. 확인 요청이 특정 항목에 몰린다면 그 규칙이 일상 작업을 막고 있다는 신호입니다.

한 가지 한계를 분명히 해 두어야 합니다. 이 지표들은 활동량과 비용 층위에 속합니다. 흐름과 품질 지표는 도구 텔레메트리가 아니라 저장소·이슈 추적·배포 시스템에서 나옵니다. 도입 효과를 주장하려면 두 출처를 결합해야 합니다.

도입 효과를 묻는 질문에 답하지 못하는 가장 흔한 이유는 도입 전 수치를 재 두지 않았기 때문입니다. 파일럿 설계에서 정해야 할 것은 다음과 같습니다.

1. 기준선 기간 — 도입 전 최소 한 주기(스프린트 또는 릴리스 주기) 이상의 지표를 확보합니다.
2. 비교 대상 — 같은 기간의 다른 팀을 둘지, 같은 팀의 이전 기간과 비교할지 정합니다. 팀 간 비교는 업무 성격 차이 때문에 해석이 어렵고, 시점 간 비교는 계절성과 프로젝트 단계의 영향을 받습니다. 둘 다 한계가 있으므로 어느 쪽을 택했고 어떤 교란 요인이 있는지 명시하는 것이 중요합니다.
3. 관측 기간 — 학습 곡선을 감안해 충분히 깁니다. 초기 몇 주는 오히려 속도가 떨어지는 것이 정상입니다.
4. 사전 정의 지표 — 무엇을 볼지 미리 정합니다. 끝난 뒤 좋아 보이는 지표를 골라 보고하면 근거가 되지 못합니다.

파일럿 보고 골격
- 기준선: 도입 전 4주, 병합까지 중앙값 3.2일 / 변경 실패율 8%
- 관측: 도입 후 8주(초기 2주는 학습 구간으로 분리 표기)
- 결과: 병합까지 중앙값 2.4일 / 변경 실패율 9%
- 해석: 흐름은 개선, 품질은 유의미한 변화 없음
- 교란 요인: 관측 기간에 릴리스 동결 1주 포함

마지막 두 줄이 보고서의 신뢰도를 결정합니다. 개선되지 않은 지표와 교란 요인을 함께 적는 보고가, 좋은 숫자만 모은 보고보다 훨씬 설득력이 있습니다.

텔레메트리는 진단 능력을 높이지만 노출면도 넓힙니다. Claude Code는 내용 로깅을 별도 설정으로 분리해 두었습니다.

export OTEL_LOG_USER_PROMPTS=1   # 프롬프트 본문 포함
export OTEL_LOG_TOOL_DETAILS=1   # 도구 인자 포함
export OTEL_LOG_TOOL_CONTENT=1   # 도구 입출력 포함

이 설정이 기본으로 꺼져 있는 것 자체가 설계 의도를 보여 줍니다. 본문 수집은 기본값이 아니라 선택이며, 켤 때는 목적과 기간, 접근 주체를 함께 정해야 합니다. 5.4에서 다룬 소재 대장에 이 경로를 반드시 포함시키십시오. 관측성 도구는 개인 데이터가 조용히 쌓이는 대표적 지점입니다.

프라이버시 외에 실무에서 부딪히는 문제가 하나 더 있습니다. 카디널리티입니다. 지표에 사용자 식별자나 세션 식별자 같은 고유값을 속성으로 붙이면 시계열 수가 폭증해 수집 비용이 커지고 대시보드가 느려집니다. 개인별 추적이 정말 필요한지 먼저 묻고, 팀이나 저장소 단위 집계로 충분하다면 그 수준에서 멈추는 편이 낫습니다.

개인 단위 지표에는 또 다른 문제가 있습니다. 개인 평가에 쓰이는 순간 지표가 왜곡됩니다. 사람들은 측정되는 것을 올리는 방향으로 행동하고, 그 결과 지표는 개선을 보여 주지만 실제 성과는 그대로이거나 나빠질 수 있습니다. 도입 효과 측정과 인사 평가를 분리한다는 원칙을 처음부터 명시해 두는 것이 안전합니다.