7.1AI 애플리케이션 보안

모델은 지시와 자료를 같은 텍스트 흐름에서 받습니다. 그래서 자료 안의 문장이 지시처럼 읽힐 수 있습니다.

• 직접 인젝션 — 사용자가 입력창에 "이전 지시를 무시하고..."를 씁니다.
• 간접 인젝션 — 모델이 읽어 온 문서나 웹페이지에 그런 문장이 심겨 있습니다. 사용자도 모르는 사이에 벌어지므로 더 위험합니다.

간접 인젝션이 특히 문제가 되는 이유는 도구와 결합되기 때문입니다. 모델이 웹을 읽고, 그 안의 지시에 따라 파일을 보내거나 요청을 날리면 실제 피해가 생깁니다.

방어는 층으로 쌓습니다.

1. 경계 표시 — 자료를 태그로 감싸고 지시가 아님을 명시합니다.
2. 권한 축소 — 그 경로에서 쓸 수 있는 도구를 최소한으로 줄입니다.
3. 행동 확인 — 되돌릴 수 없는 동작 전에 사람의 승인을 받습니다.
4. 출력 검사 — 나가는 내용에 민감정보가 섞였는지 봅니다.

1번만으로는 부족합니다. 표현을 바꾼 우회가 언제든 가능합니다. 2번과 3번이 실질적인 방어선입니다. 지시가 통하더라도 실행할 수 있는 일이 없으면 피해가 없습니다.

어디까지가 우리가 통제하는 영역이고 어디부터가 아닌지 코드에 드러나야 합니다.

TRUSTED = {"internal_kb"}          # 우리가 관리하는 자료
UNTRUSTED = {"web", "user_upload"} # 외부에서 온 자료

def tools_for(source: str) -> list:
    if source in UNTRUSTED:
        return READ_ONLY_TOOLS      # 조회만 가능
    return FULL_TOOLS

외부 자료를 다루는 경로에서는 쓰기 도구를 아예 주지 않는 것이 가장 확실합니다. 그 경로에서 인젝션이 성공해도 할 수 있는 일이 조회뿐입니다.

경로를 나누기 어렵다면 동작 단위로 승인을 겁니다. 이메일 발송, 파일 삭제, 외부 요청처럼 되돌릴 수 없는 것만 골라 확인을 받습니다. 모든 동작에 확인을 걸면 사람이 습관적으로 승인하게 되어 방어가 무의미해집니다.

유출은 대개 극적인 공격이 아니라 평범한 실수에서 납니다.

• 프롬프트에 넣지 말아야 할 것을 넣음. 전체 레코드를 통째로 넣으면서 필요 없는 개인정보까지 함께 보냅니다.
• 로그에 그대로 남김. 디버깅용으로 요청 본문 전체를 기록하면 그 로그가 유출 경로가 됩니다.
• 출력에 섞여 나감. 시스템 프롬프트에 있던 내부 정보가 답변에 인용됩니다.
• 오류 메시지에 노출. 예외 문자열에 원문이 포함되어 사용자에게 보입니다.

대응은 들어가기 전에 줄이는 것이 기본입니다.

def to_prompt(record: dict) -> dict:
    # 판단에 필요한 필드만 남기고 식별자는 대체한다
    return {
        "case_id": pseudonymize(record["id"]),
        "category": record["category"],
        "description": redact_pii(record["description"]),
    }

로그도 같은 원칙입니다. 원문 전체 대신 길이, 해시, 앞 일부만 남기면 디버깅에 대체로 충분합니다. 필요할 때만 상세 로그를 켜고 기간을 정해 지우는 것이 실무 방식입니다.

모델이 도구를 통해 데이터에 접근하면, 그 접근이 누구의 권한으로 이뤄지는지가 중요합니다.

흔한 실수는 서비스 계정 하나로 모든 조회를 하는 것입니다. 그러면 사용자 A의 대화에서 사용자 B의 데이터가 나올 수 있습니다. 모델이 의도적으로 그러지 않더라도, 검색 도구가 전체를 뒤지면 그렇게 됩니다.

def search_tool(query: str, *, actor: User) -> list:
    # 도구 실행 시점에 호출자의 권한으로 범위를 좁힌다
    return db.search(query, allowed_scopes=actor.scopes)

권한 확인을 프롬프트가 아니라 도구 구현에 두는 것이 원칙입니다. "사용자 본인의 데이터만 조회하세요"라고 지시하는 것으로는 부족합니다.

비밀값은 모델에 노출되지 않아야 합니다. API 키가 필요한 도구라면 키는 우리 서버에 두고 모델은 도구 이름과 인자만 다룹니다. 모델이 키를 알 필요가 없고, 알면 출력에 섞여 나갈 위험만 생깁니다.