1.6비즈니스 가치 기준과의 정렬

공식 요강은 솔루션을 효율(efficiency), 전환(transformation), 생산성(productivity), 비용(cost), 성능 SLA(performance SLAs)라는 가치 기준에 정렬시키라고 명시합니다. 이 단어들은 경영 언어이므로 아키텍트는 이를 측정 가능한 설계 목표로 번역해야 합니다.

• 효율 — 같은 결과를 더 적은 자원으로. 설계 언어로는 단위 작업당 처리 시간과 사람 개입 비율입니다
• 전환 — 이전에는 불가능하던 일을 가능하게. 자동화율이 아니라 새로 처리되는 작업 유형의 수로 잡습니다
• 생산성 — 사람의 산출을 늘림. 사람이 검토만 하고 작성은 넘긴 비율, 재작업 비율로 측정합니다
• 비용 — 요청당 비용과 총 운영 비용. 모델 비용만이 아니라 검증과 사람 검토 비용을 포함합니다
• 성능 SLA — 응답 시간과 가용성. 평균이 아니라 p95 또는 p99로 잡습니다

번역이 중요한 이유는 기둥마다 최적 설계가 다르기 때문입니다. 비용이 최우선이면 배치 처리와 작은 모델이 답이고, SLA가 최우선이면 실시간 경로와 캐싱이 답입니다. 둘을 동시에 최대화할 수는 없습니다.

그래서 아키텍트가 먼저 확보해야 하는 것은 우선순위입니다. 다섯 기둥 중 무엇이 상한 제약이고 무엇이 최적화 대상인지 이해관계자에게 확인받지 못하면, 나중에 "빠르긴 한데 너무 비싸다"는 평가를 받게 됩니다.

비용 추정은 요청당 토큰 수에서 출발합니다. 세 항목을 분리해 계산합니다.

• 입력 토큰 — 시스템 프롬프트, 도구 정의, 첨부 문서, 대화 이력
• 출력 토큰 — 모델이 생성한 부분. 일반적으로 입력보다 단가가 높습니다
• 캐시 읽기 토큰 — 프롬프트 캐싱이 적용된 반복 접두부

세 번째 항목이 설계 지렛대입니다. 프롬프트 캐싱은 요청 앞부분의 동일한 접두부를 재사용합니다. 따라서 안정적인 내용을 앞에, 변하는 내용을 뒤에 두는 배치가 비용을 크게 좌우합니다.

# 캐시가 듣는 배치: 고정 부분이 앞, 가변 부분이 뒤
system = [
    {"type": "text", "text": POLICY_DOC,                  # 매 요청 동일
     "cache_control": {"type": "ephemeral"}},
]
messages = [{"role": "user", "content": user_question}]   # 매 요청 다름

배치를 뒤집어 사용자 질문을 앞에 두면 접두부가 매번 달라져 캐시가 전혀 듣지 않습니다. 같은 기능, 같은 모델인데 비용이 몇 배 차이 나는 흔한 원인입니다.

또 하나의 지렛대는 동기성입니다. 즉시 응답이 필요 없는 작업은 배치 처리로 돌리면 비용이 크게 낮아집니다. Anthropic은 Message Batches API에 대해 표준 요청 대비 50% 절감을 제시합니다. 야간에 도는 분류·태깅·요약 작업을 실시간 경로에 태우고 있다면 그것만 옮겨도 비용 구조가 달라집니다.

세 번째는 모델 등급 배분입니다. 파이프라인의 모든 호출에 같은 등급을 쓸 이유가 없습니다. 분류와 라우팅처럼 단순 판단은 작은 모델로, 최종 판단만 상위 등급으로 배분하면 품질을 크게 잃지 않고 비용이 내려갑니다.

성능 SLA는 다른 기둥과 성격이 다릅니다. 최적화 대상이 아니라 상한 제약으로 작동하기 때문입니다. p95 2초라는 SLA가 있으면 그 안에 들어오지 못하는 설계는 아무리 정확해도 채택될 수 없습니다.

SLA에서 역산하면 설계 선택지가 좁혀집니다.

SLA 예산	가능한 구조
p95 1초 이하	단일 호출, 캐시 적중 전제, 도구 호출 최소
p95 2~5초	단일 호출 + 도구 1~2회, 짧은 체인
p95 10초 이상	다단계 체인, 병렬 검토, 에이전트
실시간 아님	배치 처리, 야간 실행

이 표가 보여 주는 것은 지연 예산이 패턴 선택을 결정한다는 점입니다. 앞 수업에서 다룬 패턴 선택의 세 축 중 예산 축이 여기에 해당합니다.

지연을 줄이는 수단도 정리해 둡니다.

• 스트리밍 — 총 시간은 같지만 첫 토큰까지의 시간이 짧아져 체감이 크게 개선됩니다. 사용자가 읽기 시작할 수 있는 시점을 앞당기는 것이 목적입니다
• 캐싱 — 반복 접두부의 처리 시간을 줄입니다. 비용과 지연에 동시에 듣습니다
• 병렬화 — 독립 작업을 동시에 돌려 총 시간을 줄입니다
• 모델 등급 하향 — 작은 모델은 대체로 빠릅니다. 품질 여유가 있을 때 지연으로 바꿀 수 있는 자원입니다

마지막 항목이 실무에서 자주 놓칩니다. 정확도가 목표를 여유 있게 넘고 있는데 SLA를 못 맞추고 있다면, 정확도 여유를 지연으로 교환하는 것이 첫 검토 대상입니다. 인프라를 늘리는 것보다 싸고 빠릅니다.

아키텍트의 산출물은 다이어그램만이 아닙니다. 결정을 이해관계자가 판단할 수 있는 언어로 옮긴 문서가 함께 가야 합니다.

효과적인 형식은 선택지를 나란히 두고 다섯 기둥으로 채점하는 표입니다.

안	요청당 비용	p95 지연	정확도	사람 개입	구현 기간
A: 단일 호출 + 캐싱	낮음	1.2초	0.89	12%	2주
B: 라우팅 + 등급 분리	중간	1.8초	0.93	7%	4주
C: 에이전트 + 검토 관문	높음	9초	0.96	3%	8주

이 표의 가치는 트레이드오프를 눈에 보이게 만드는 것입니다. 기술 용어로 설명하면 이해관계자는 판단할 수 없고, 결국 "가장 좋은 것으로 해 주세요"라는 답이 돌아옵니다. 숫자로 놓으면 SLA가 2초인 조직은 C안을 스스로 배제합니다.

한 가지 원칙을 덧붙입니다. 추천안을 명시하고 근거를 한 줄로 답니다. 선택지만 나열하고 판단을 넘기는 것은 아키텍트의 역할을 다한 것이 아닙니다. 다만 추천의 근거는 기술적 선호가 아니라 앞서 합의한 우선순위여야 합니다. "SLA가 상한 제약이고 정확도는 0.90이 목표이므로 B안을 권합니다"처럼 씁니다.

이 정렬 작업을 건너뛰면 기술적으로 훌륭한 시스템이 조직에서 채택되지 않는 결과가 나옵니다. 도메인 6에서 다루는 이해관계자 커뮤니케이션이 여기서 시작됩니다.