Fallback 라우팅 아키텍처는 AI 시스템에서 고위험 쿼리를 감지하여 기본 모델 대신 안전한 fallback 모델로 응답을 라우팅하는 설계 패턴입니다.
Overview
전통적인 AI 시스템은 하나의 모델이 모든 입력을 처리하려고 시도합니다. 이는 강력한 모델이라도 의도치 않은 유해한 출력이나 탈옥 공격에 취약할 수 있습니다. Fallback 라우팅 아키텍처는 이를 해결하기 위해 세 가지 구성 요소로 나눕니다:
- 메인 모델: 일반적인 쿼리를 처리하는 고성능 모델
- 위험 감지기: 입력의 위험도를 평가하는 별도의 시스템
- Fallback 모델: 고위험 쿼리를 안전하게 처리하도록 특화된 모델
Anthropic의 Claude Fable 5는 이 아키텍처를 채택하여, 1000시간 이상의 테스트에서 보편적 탈옥을 발견할 수 없었습니다. 이는 단일 모델의 지능을 높이는 것보다 시스템 설계의 견고함이 더 중요함을 보여줍니다.
Background
AI 안전성 연구는 모델이 점점 더 강력해짐에 따라 탈옥, 프롬프트 인젝션 등 다양한 공격 벡터가 증가한다는 것을 보여주었습니다. 초기 접근법은 모델 자체를 더 안전하게 훈련하는 것(예: RLHF)에 초점을 맞췄지만, 이는 완벽한 해결책이 아니었습니다. Fallback 라우팅은 시스템 수준에서 안전성을 강화하는 접근법으로, 소프트웨어 공학의 ‘방어 심층(defense in depth)’ 원칙을 AI에 적용한 것입니다.
How It Works
구성 요소
- 메인 모델 (Main Model): 가장 강력한 AI 모델. 일상적인 질문, 창의적 작업, 복잡한 추론 등을 처리합니다.
- 위험 감지기 (Risk Detector): 각 쿼리를 분석하여 위험도를 평가합니다. 규칙 기반 분류기, 작은 분류 모델, 또는 또 다른 LLM이 될 수 있습니다. 주요 판단 기준:
- 불법 활동 요청
- 개인정보 탈취 시도
- 폭력, 혐오 발언 생성
- 프롬프트 인젝션 또는 탈옥 시도 의심
- Fallback 모델: 위험 감지기가 고위험으로 분류한 쿼리를 받습니다. 이 모델은 보수적인 응답을 생성하도록 설계되거나, 단순히 ‘이 질문에 답할 수 없습니다’와 같은 안전한 기본 응답을 제공할 수 있습니다.
동작 흐름
- 사용자 쿼리가 메인 모델과 위험 감지기에 동시에 전달됩니다.
- 위험 감지기가 쿼리를 평가합니다.
- 저위험: 메인 모델이 응답을 생성합니다.
- 고위험: 메인 모델의 응답은 무시되고, 쿼리가 fallback 모델로 라우팅됩니다.
- Fallback 모델이 안전한 응답을 생성하여 사용자에게 반환합니다.
테스트 결과
Claude Fable 5에 적용된 이 아키텍처는 1000시간 이상의 집중 테스트에서 단 하나의 보편적 탈옥도 발견되지 않았을 정도로 효과적이었습니다.
Key Ideas
- 지능보다 에스컬레이션 — 더 똑똑한 모델을 만드는 것보다 시스템이 언제 다른 구성 요소로 책임을 넘겨야 하는지 아는 것이 더 중요합니다.
- 방어 심층 (Defense in Depth) — 여러 계층의 방어를 통해 단일 실패 지점을 제거합니다.
- 분리된 책임 — 메인 모델은 성능에, 위험 감지기는 안전성에 집중할 수 있어 각 구성 요소의 최적화가 용이합니다.
Examples / Use Cases
- 음성 에이전트: 고위험 금융 거래 요청 시 fallback 모델이 사용자 인증 절차를 안내합니다.
- 자동화 시스템: 개인정보가 포함된 쿼리를 감지하여 메인 모델 대신 제한된 응답을 반환합니다.
- 고객 서비스: 민감한 주제(예: 법률 상담)는 자동 응답 대신 전문 상담사 연결로 에스컬레이션합니다.
Limitations / Considerations
- 위험 감지기의 정확도가 전체 시스템의 효과성을 결정합니다. 오탐(false positive)은 불편을, 미탐(false negative)은 보안 위험을 초래합니다.
- Fallback 모델 자체도 공격에 취약할 수 있으므로 추가적인 보호 조치가 필요합니다.
- 시스템 지연 시간이 증가할 수 있습니다(두 모델을 거치므로).
- 위험 감지기의 설계와 유지보수에 추가 비용이 발생합니다.