모델 선택과 프롬프트·컨텍스트 엔지니어링

아키텍트에게 모델 선택은 "가장 똑똑한 모델을 고른다"가 아니라 품질·지연시간·비용이라는 세 축 사이에서 요구사항에 맞는 지점을 고르고 그 근거를 설명하는 일입니다. 이 수업에서는 세 축의 실제 관계, 사고 강도(effort)라는 네 번째 손잡이, 계층형 라우팅 구조, 그리고 선택을 평가로 검증하는 방법을 다룹니다.

조직 단위로 여러 팀이 같은 모델을 쓰기 시작하면 프롬프트는 한 덩어리의 문자열이 아니라 소유자와 변경 주기가 다른 여러 겹의 구조물이 됩니다. 이 수업에서는 프롬프트를 계층으로 나누는 기준, 계층 순서가 캐시와 맺는 관계, 가드레일을 프롬프트 한 겹에 몰지 않는 다층 방어, 그리고 대화 도중 지시를 바꿔야 할 때의 안전한 방법을 다룹니다.

제로샷·퓨샷·사고사슬은 배타적 대안이 아니라 각각 다른 비용과 실패 양상을 가진 도구입니다. 이 수업에서는 세 기법의 실제 비용 구조, 퓨샷이 이기는 조건과 오히려 해가 되는 조건, 사고 모델에서 달라지는 사고사슬의 위치, 그리고 기법 선택을 취향이 아니라 평가로 결정하는 방법을 다룹니다.

긴 컨텍스트를 지원하는 모델에서도 토큰은 여전히 배분해야 하는 자원입니다. 이 수업에서는 토큰 예산을 설계 제약으로 다루는 방법, 컨텍스트를 줄이는 세 가지 서로 다른 수단의 차이, 멀티 에이전트에서의 컨텍스트 격리, 그리고 측정 없이 최적화하지 않는 원칙을 다룹니다.

같은 지시와 자료를 반복해서 보내는 시스템에서 재사용 전략은 비용과 지연시간을 좌우하는 아키텍처 결정입니다. 이 수업에서는 프롬프트 캐싱의 유일한 불변식, 캐시를 조용히 깨뜨리는 요인들, 모듈형 프롬프트와 스킬의 점진적 공개, 그리고 재사용이 실제로 이익인지 판단하는 손익 계산을 다룹니다.