avatarin 사례로 보는 GPT-Realtime 소매 음성 에이전트 설계법

GPT-Realtime 기반 소매 음성 에이전트는 단순히 상품을 읽어 주는 기능으로 시작하면 부족합니다. 제품 정보는 RAG로 근거를 확보하고, 카테고리별 후속 질문으로 고객의 조건을 파악하며, 주문처럼 결과가 발생하는 작업은 반드시 확인 단계로 분리해야 합니다.

기능과 요금 자료를 확인한 기준일은 2026년 8월 14일입니다. 플랜과 제공 범위는 바뀔 수 있으므로 선택 전 공식 원문을 다시 확인해야 합니다.

OpenAI의 avatarin 사례는 이 원칙을 실제 소매 대화에 적용한 예입니다. 다만 처음부터 복잡하게 구성하기보다, 한 상품 카테고리와 최소 프롬프트로 시작해 테스트에서 드러난 실패만 보완하는 편이 공식 Realtime 프롬프팅 지침에도 맞습니다.

avatarin 사례가 보여주는 역할 범위

OpenAI의 avatarin 고객 사례에 따르면, Kurashi-Marugoto AI Agent는 GPT-Realtime 기반으로 자연스러운 음성 대화를 지원하며 고객을 상품 발견부터 구매 결정까지 안내합니다.

여기서 핵심은 고객이 처음부터 정확한 상품명이나 조건을 말해야 한다고 가정하지 않는 것입니다. 에이전트의 역할은 대화를 통해 필요한 조건을 좁히고, 그 조건에 맞는 정보를 바탕으로 다음 선택을 돕는 데 있습니다.

이 범위를 기준으로 하면 초기 목표도 명확해집니다. 상품을 추천하는 듯한 말을 많이 하는 것이 아니라, 고객의 탐색 요청을 받아 필요한 정보를 확인하고 비교·결정 단계까지 일관되게 이어 가는 것입니다.

제품 정보는 RAG로, 대화 반응성은 GPT-Realtime으로 분리하기

RAG는 검색 증강 생성(Retrieval-Augmented Generation)의 줄임말입니다. 답변을 만들기 전에 관련 제품 정보를 찾아 모델의 문맥으로 제공해, 응답이 그 정보에 근거하도록 하는 방식입니다.

avatarin 사례에서는 RAG가 제품 정보에 대한 응답 근거를 맡고, GPT-Realtime이 반응성 있는 대화를 유지합니다. 즉, 제품 사실을 대화 모델의 일반 지식에만 맡기지 않고, 대화의 자연스러움과 정보의 근거를 분리한 구성입니다.

OpenAI의 gpt-realtime 모델 페이지는 이 모델이 WebRTC, WebSocket, SIP 연결을 통해 실시간 텍스트·오디오 입출력을 지원한다고 설명합니다. 모델 페이지에는 이미지 입력도 기재되어 있습니다. 연결 방식이나 입력 형식보다 먼저 정할 일은, 에이전트가 어떤 제품 정보를 조회해 답변 근거로 삼을지입니다.

초기 설정에서는 다음처럼 역할을 나누면 됩니다.

대화 계층: 고객의 요청을 이해하고, 한 번에 하나의 필요한 후속 질문을 한다.
제품 정보 계층: 조회된 제품 정보를 답변의 근거로 제공한다.
행동 계층: 조회와 같은 읽기 작업, 주문과 같은 쓰기 작업을 구분한다.

카테고리별 후속 질문으로 판매 지식을 대화에 옮기기

모든 상품에 같은 질문을 적용하면 대화가 길어지거나 필요한 조건을 놓치기 쉽습니다. avatarin 사례에서 OpenAI는 상품 카테고리마다 판매원이 수집해야 하는 정보가 크게 다르다고 설명합니다.

따라서 한 카테고리를 먼저 정한 뒤, 그 카테고리에서 반드시 확인할 조건을 대화 흐름으로 옮기세요. 후속 질문은 고객에게 긴 설문을 한꺼번에 제시하는 방식보다, 현재 답변에 따라 다음 질문을 하나씩 이어 가는 편이 적합합니다.

예를 들어 설계 문서에는 특정 상품명이 아니라 다음 항목을 채워 넣습니다.

고객이 처음 말할 수 있는 탐색 의도
추천 전에 확인해야 하는 카테고리별 조건
제품 정보 조회에 필요한 입력값
비교 결과에서 알려 줄 차이와 선택 기준
정보가 부족하거나 모호할 때 물을 다음 질문

표시용 워크플로: 6단계 대화·도구 흐름

고객의 상품 탐색 의도를 파악합니다.
해당 카테고리에 필요한 조건을 후속 질문으로 하나씩 수집합니다.
읽기 도구 또는 RAG로 관련 제품 정보를 조회합니다.
조회된 정보에 근거해 비교·추천을 제시합니다.
주문·청구 등 외부 결과가 생기는 작업이라면, 실행 내용과 영향을 먼저 요약하고 확인을 받습니다.
도구 결과가 성공하면 그때만 완료를 알리고, 실패하거나 도구가 없으면 가능한 다음 단계를 안내합니다.

이 흐름의 앞부분은 avatarin 사례의 제품 정보 RAG와 카테고리별 대화 설계를, 뒷부분은 OpenAI Realtime 지침의 도구 확인·실패 처리 원칙을 반영한 것입니다.

최소 프롬프트와 평가 반복으로 설정하기

OpenAI의 Realtime 모델 프롬프팅 가이드는 프롬프트에 책임, 의사결정 지점, 도구 호출 행동, 가드레일을 명시하라고 안내합니다. 가드레일은 에이전트가 해서는 안 될 행동과 벗어나지 말아야 할 경계를 정하는 규칙입니다.

다만 처음부터 예외 규칙을 길게 쌓아 넣지는 마세요. 공식 지침은 최소 프롬프트로 시작하고, 평가를 실행한 다음 테스트에서 실패한 행동에 대해서만 지시를 추가하라고 권합니다.

한 카테고리용 최소 프롬프트에는 아래 내용이면 충분합니다.

역할과 목표: 고객의 상품 탐색과 구매 결정을 돕는다.
대화 규칙: 카테고리별 조건이 부족하면 한 번에 한 질문만 한다.
정보 규칙: 제품 관련 답변은 조회된 제품 정보를 바탕으로 한다.
도구 규칙: 현재 제공된 도구 목록에 있는 도구만 사용한다.
행동 경계: 주문·청구처럼 외부 결과가 생기는 작업은 설명 후 명시적 확인을 받는다.
실패 규칙: 도구가 없거나 실패하면 완료했다고 말하지 않고 지원 가능한 다음 단계를 안내한다.

평가 때는 “답변이 자연스러운가”만 보지 말고, 각 단계에서 에이전트가 해서는 안 될 일을 하지 않는지도 확인해야 합니다.

주문 같은 쓰기 작업은 확인 경계로 통제하기

OpenAI Realtime 프롬프팅 가이드는 현재 도구 목록에 명시된 도구만 사용하도록 지시합니다. 재고나 제품 정보를 찾는 읽기 도구는 사용자의 의도가 분명하고 필요한 입력값이 갖춰지면 호출할 수 있습니다.

반면 주문, 청구, 취소, 전송처럼 외부 상태를 바꾸는 쓰기 도구는 다르게 다뤄야 합니다. 에이전트는 실행 전에 무엇이 변경·전송·주문·청구되는지와 그 영향을 요약하고, 사용자의 명시적 확인을 받은 뒤에만 도구를 호출해야 합니다.

정상 동작은 다음 순서를 지키는 모습입니다.

“요청하신 작업을 진행하면 이 내용이 처리됩니다. 진행할까요?”

이후 사용자가 분명하게 확인한 경우에만 실행합니다. 실행이 끝났다는 말도 도구 호출이 성공한 뒤에만 해야 합니다.

정상 동작과 실패 신호를 테스트하는 법

테스트는 대표적인 성공 경로와 실패 경로를 함께 준비해야 합니다. OpenAI 지침에 따르면 제공되지 않은 도구를 요청받았을 때 에이전트는 그 작업을 완료한 척하면 안 됩니다. 짧게 사용 불가를 설명하고, 지원 가능한 가장 가까운 다음 단계를 제시해야 합니다.

도구 호출 자체가 실패했을 때도 원시 오류를 그대로 보여 주기보다, 실패를 간단히 알리고 사용자가 취할 다음 행동을 안내하는지가 중요합니다.

다음 네 가지를 통과하면 초기 구성이 정상 범위에 들어왔다고 볼 수 있습니다.

상품 탐색 요청에 카테고리에 맞는 후속 질문을 한다.
제품 답변에서 조회된 제품 정보를 근거로 사용한다.
주문·청구 같은 쓰기 행동 전에는 영향 요약과 명시적 확인을 요청한다.
제공되지 않은 도구 또는 실패한 도구에 대해서는 완료를 주장하지 않고, 지원 가능한 다음 단계를 안내한다.

다음 단계는 한 개 상품 카테고리를 정하는 일입니다. 역할, 목표, 카테고리 질문, 사용 가능한 읽기 도구, 쓰기 작업 확인 규칙, 미제공 도구 처리 규칙만 담은 최소 프롬프트로 테스트하세요. 이후 대표 실패 사례를 평가하고, 실패한 행동을 막거나 고치는 지시만 추가하면 됩니다.

소매 GPT-Realtime 에이전트의 6단계 대화·도구 워크플로

고객의 상품 탐색 의도를 파악합니다.
해당 카테고리에 필요한 조건을 후속 질문으로 하나씩 수집합니다.
읽기 도구 또는 RAG로 관련 제품 정보를 조회합니다.
조회된 정보에 근거해 비교·추천을 제시합니다.
주문·청구 등 외부 결과가 생기는 작업이라면, 실행 내용과 영향을 먼저 요약하고 확인을 받습니다.
도구 결과가 성공하면 그때만 완료를 알리고, 실패하거나 도구가 없으면 가능한 다음 단계를 안내합니다.

같은 주제 이어서 읽기

이전 글: GPT-5.2 공식 예시로 보는 요구사항형 프롬프트와 API 가격

이어서 읽기

참고한 자료

- [How avatarin built a 24/7 retail agent with GPT-Realtime: - Using realtime models; OpenAI: OpenAI API](https://developers.openai.com/api/docs/guides/realtime-models-prompting)
- [How avatarin built a 24/7 retail agent with GPT-Realtime: - GPT-Realtime Model; OpenAI: OpenAI API](https://developers.openai.com/api/docs/models/gpt-realtime)

작성 정보