프로덕션 AI 에이전트 감사 추적: Foundry·OpenAI·AWS 비교
Microsoft Foundry, OpenAI 도구, Amazon Bedrock AgentCore의 AI 에이전트 추적·평가·거버넌스 접근을 공식 자료 기준으로 비교하고, 도입 전 확인할 질문을 정리합니다.
프로덕션 AI 에이전트의 데이터 사용과 실행 과정을 추적하려면, 세 제품 중 하나를 곧바로 고르기보다 현재 워크플로의 추적 범위, 평가 방식, 통제 절차를 먼저 맞춰 봐야 합니다. 제공된 공식 자료만으로는 가격, 데이터 보존 기간, 보안 인증을 같은 수준에서 비교할 수 없으므로 단일 제품을 단정 추천하기는 어렵습니다.
다만 공식 문서가 강조하는 중심은 분명히 다릅니다. Microsoft Foundry는 여러 프레임워크에 걸친 추적과 지속 평가, OpenAI는 SDK 기반 trace와 추적 데이터의 개인정보 운영 원칙, Amazon Bedrock AgentCore는 허가된 경계 안에서의 통제와 사람 검토, 다층 평가를 각각 제시합니다.
먼저 정할 것: ‘감사 추적’에 무엇을 남길 것인가
감사 추적은 단순히 최종 답변을 저장하는 일이 아닙니다. 문제가 생겼을 때 에이전트가 어떤 입력을 받고, 어떤 모델과 도구를 호출했으며, 다른 에이전트에 작업을 넘겼는지까지 따라갈 수 있어야 합니다. 이런 실행 경로 기록을 보통 trace라고 합니다.
비교할 때는 기능 이름보다 아래 네 질문을 같은 비중으로 확인하는 편이 낫습니다.
- 추적 범위: 모델 호출, 도구 실행, 에이전트 간 handoff(작업 넘김)가 한 흐름으로 이어지는가
- 평가와 감시: 품질·안전성·과업 완료 여부를 어떻게 점검하고, 운영 중 이상을 어떻게 발견하는가
- 데이터와 접근 통제: 개인정보 식별 정보(PII)를 어떻게 줄이고, 누가 trace 데이터에 접근했는지 어떻게 확인할 것인가
- 운영 적합성: 현재 쓰는 프레임워크와 연결되는지, 사람 검토와 정책 통제를 어디에 넣을 수 있는가
여기서 중요한 점은 ‘추적 가능’이라는 표현만으로 감사 요구가 충족되지는 않는다는 것입니다. 필요한 기록 항목, 접근 권한, 보존 기준, 검토 절차를 팀의 정책으로 별도 정의해야 합니다.
공식 자료 기준 비교 매트릭스
| 비교 기준 | Microsoft Foundry | OpenAI 도구 | Amazon Bedrock AgentCore 관련 AgentOps |
|---|---|---|---|
| 추적 범위 | 프롬프트·모델 호출·도구 호출·하위 에이전트 이동의 종단 간 텔레메트리 | LLM 호출·도구 실행·handoff를 하나의 trace로 연결 | 에이전트 결정을 추적하는 텔레메트리 계층 제시 |
| 평가·감시 | 품질·안전·과업 완료 평가, 지속·예약 평가, 경보 | 워크플로 실행의 추적·검사 도구 발표 | 도구·대화 턴·세션 결과·시스템의 네 수준 평가 |
| 데이터·거버넌스 명시 | red teaming과 사람 검토를 함께 권장 | PII 삭제, 보존 정책, 접근 감사는 운영 권고 | 다중 계정, 결정론적·추론 제어, 사람 검토 제시 |
| 호환성·운영 초점 | 일부 프레임워크와 OpenTelemetry 기반 커스텀 프레임워크 범위 명시 | Agents SDK 기반 단일·다중 에이전트 오케스트레이션 | 운영 경계 통제와 개발·프로덕션 평가 연결 |
| 가격·보존·인증 | 제공 자료로 비교 근거 없음 | 제공 자료로 비교 근거 없음 | 제공 자료로 비교 근거 없음 |
표의 마지막 행은 빈칸이 아니라 검증 과제입니다. 이 자료 범위에서는 세 제품의 비용, 데이터 보존 기간, 인증 또는 규제 준수 여부를 나란히 판단할 근거가 없습니다.
Microsoft Foundry: 여러 프레임워크의 실행 경로를 한 흐름으로 볼 때
Microsoft의 Foundry 공식 블로그는 관측성을 Trace, Evaluate, Monitor, Optimize 네 기능으로 설명합니다. Trace는 프롬프트, 모델 호출, 도구 호출, 하위 에이전트 이동까지 단계별 텔레메트리를 남기는 역할입니다. Evaluate는 품질·안전성·과업 완료를 점수화하고, Monitor는 Azure Monitor의 대시보드와 경보를 통한 운영 감시를 뜻합니다.
여러 프레임워크를 함께 운영하는 팀이라면 호환성 범위가 특히 중요합니다. 같은 Microsoft 자료는 추적·평가가 LangChain, LangGraph, OpenAI SDK, Microsoft Agent Framework와 OpenTelemetry를 통한 커스텀 프레임워크까지 확장된다고 설명합니다. 다만 이 범위는 해당 자료에서 Public Preview로 표기됐으므로, 실제 도입 판단 전 현재 사용 중인 프레임워크와 계측 방식으로 확인해야 합니다.
Microsoft Learn의 Foundry 관측성 문서는 자체 데이터를 사용한 품질·안전성·사용자 정의 평가도 안내합니다. 또 배포 전 안전·보안 취약점을 찾기 위한 AI red teaming agent와 사람 검토의 병행, 프로덕션 트래픽 표본에 대한 지속 평가, 테스트 데이터셋을 활용한 예약 평가, Azure Monitor 경보를 제시합니다.
따라서 Foundry는 한 번의 로그 조회보다, 추적→평가→운영 감시→개선의 반복 루프를 설계하려는 경우에 우선 검토할 만합니다.
OpenAI: SDK trace와 추적 데이터 운영 원칙을 함께 볼 때
OpenAI는 Agents SDK와 에이전트 워크플로 실행을 추적·검사하는 통합 관측성 도구를 발표했습니다. OpenAI 개발자 가이드에 따르면 trace()는 작업을 이름 있는 trace 아래에 묶고, OpenAI Traces Dashboard에서 LLM 호출, 도구 실행, handoff를 포함한 전체 흐름을 볼 수 있게 설명합니다.
OpenAI 기반 워크플로라면 실행 경로 자체뿐 아니라, trace에 무엇을 저장할지도 설계 대상입니다. OpenAI의 거버넌스 가이드는 ZDR tracing 운영을 위한 권고로 trace processor 사용, span 저장 전 PII 삭제, 규정에 맞는 보존 정책 설정, 내부 시스템에서의 trace 데이터 접근 감사, 운영 방식 문서화를 제시합니다.
여기서 PII는 이름, 연락처처럼 개인을 식별할 수 있는 정보입니다. 특히 사용자 입력이나 도구 응답에 민감한 정보가 섞일 수 있다면, trace를 남긴다는 결정과 저장 전 삭제 규칙을 함께 설계해야 합니다.
이 항목들은 OpenAI가 제시한 운영 권고입니다. 기본 설정만으로 자동 충족된다고 해석하기보다, 실제 trace 처리 경로와 내부 접근 관리에 반영할 요구사항으로 보는 편이 정확합니다.
Amazon Bedrock AgentCore: 행동 경계와 사람 검토를 중심에 둘 때
AWS의 Amazon Bedrock AgentCore 관련 AgentOps 자료는 감사 가능성을 거버넌스와 보안 운영의 일부로 다룹니다. 다중 계정 전략, 결정론적 제어, 추론 제어, 사람 검토를 통해 에이전트가 허가된 경계 안에서 작동하도록 하고, 모든 행동을 추적 가능하게 하는 접근입니다.
여기서 결정론적 제어는 규칙에 따라 결과가 일관되게 정해지는 통제를 말합니다. 에이전트가 외부 도구를 호출하거나 실제 업무 흐름에 영향을 주는 행동을 할 때, 모델의 자연어 판단만으로 넘기지 않고 명시적 정책과 검토 절차를 결합하려는 관점입니다.
AWS는 평가도 한 단계로 보지 않습니다. 개발과 프로덕션에서 도구 자체, 대화의 한 턴, 세션의 결과, 전체 시스템이라는 네 수준을 평가하고, 네 텔레메트리 계층을 계측해 에이전트 결정 추적, 품질 저하 감시, 상호작용당 비용 추적을 목표로 제시합니다.
따라서 도구 호출의 정확성부터 긴 세션의 최종 결과까지 나누어 검증하고, 고위험 행동에는 사람 검토를 연결해야 하는 팀이라면 이 운영 모델을 중심으로 검토할 수 있습니다.
선택 전, 같은 시나리오로 확인할 질문
제품 설명을 비교하는 것만으로는 부족합니다. 실제로 운영 중이거나 도입 예정인 저위험 워크플로 하나를 정하고, 세 후보에 같은 질문을 적용해 보세요.
- 한 요청에서 모델 호출, 도구 실행, 에이전트 간 handoff가 빠짐없이 하나의 실행 흐름으로 이어지는가?
- 실패한 결과를 찾은 뒤, 어떤 평가 결과와 실행 기록을 근거로 원인을 좁힐 수 있는가?
- 사용자 입력과 도구 응답에 PII가 들어갈 때 저장 전 삭제 규칙을 어디에 적용할 수 있는가?
- 민감한 도구 호출에 사람 검토 또는 정책 통제를 넣을 수 있는가?
- 지속 평가, 예약 평가, 경보 중 현재 운영에 필요한 방식은 무엇인가?
- 현재 사용하는 프레임워크와 계측 방식이 공식 지원 또는 검증 대상 범위에 들어가는가?
- 데이터 보존 기간, 접근 권한, 데이터 내보내기, 가격, 인증·규제 요구는 계약 및 운영 조건에서 어떻게 확인할 것인가?
결론적으로, 여러 프레임워크의 실행 경로를 통합해 평가·감시까지 연결하려면 Microsoft Foundry의 범위를, OpenAI 기반 워크플로에서 trace와 민감정보 처리 원칙을 함께 설계하려면 OpenAI의 가이드를, 행동 경계와 사람 검토 및 다층 평가를 우선하면 Amazon Bedrock AgentCore 관련 AWS의 AgentOps 접근을 먼저 대조하면 됩니다.
다음 단계는 하나의 저위험 프로덕션 워크플로를 정하는 일입니다. 그 워크플로로 실제 trace의 완결성, 평가 결과 확인, PII 삭제·보존 설정, 사람 검토 경로, 경보·데이터 내보내기와 가격·보존·인증 조건을 같은 시나리오에서 확인하세요.
프로덕션 AI 감사 추적 도구 선택 매트릭스
| 비교 기준 | Microsoft Foundry | OpenAI 도구 | Amazon Bedrock AgentCore 관련 AgentOps |\n|---|---|---|---|\n| 추적 범위 | 프롬프트·모델 호출·도구 호출·하위 에이전트 이동의 종단 간 텔레메트리 | LLM 호출·도구 실행·handoff를 하나의 trace로 연결 | 에이전트 결정을 추적하는 텔레메트리 계층 제시 |\n| 평가·감시 | 품질·안전·과업 완료 평가, 지속·예약 평가, 경보 | 워크플로 실행의 추적·검사 도구 발표 | 도구·대화 턴·세션 결과·시스템의 네 수준 평가 |\n| 데이터·거버넌스 명시 | red teaming과 사람 검토를 함께 권장 | PII 삭제, 보존 정책, 접근 감사는 운영 권고 | 다중 계정, 결정론적·추론 제어, 사람 검토 제시 |\n| 호환성·운영 초점 | 일부 프레임워크와 OpenTelemetry 기반 커스텀 프레임워크 범위 명시 | Agents SDK 기반 단일·다중 에이전트 오케스트레이션 | 운영 경계 통제와 개발·프로덕션 평가 연결 |\n| 가격·보존·인증 | 제공 자료로 비교 근거 없음 | 제공 자료로 비교 근거 없음 | 제공 자료로 비교 근거 없음 |
이 글의 기준을 확인한 곳
본문의 적용 기준은 Build 2026: From observability to ROI for AI agents on any …와 AgentOps: Operationalize agentic AI at scale with …에서 다시 대조했다. 제도나 서비스 조건은 바뀔 수 있으므로 실제 적용 전 최신 안내를 확인하는 편이 안전하다.
이어서 읽기
- AI 생산 워크플로 감사 추적 설계: 실행·데이터·LLM 호출을 기록하는 방법
- avatarin 사례로 보는 GPT-Realtime 소매 음성 에이전트 설계법
- GPT-Realtime으로 반복 상품 안내를 설계하는 법: 검색·후속 질문·가드레일