AI 에이전트 개발AI 에이전트를제품으로 만듭니다
데모는 쉽습니다. 매일 사용자가 쓰는 제품은 다릅니다. 뉴라우트는 대화 흐름과 기억, 검색과 도구 호출까지 설계해 실제로 굴러가는 AI 서비스를 만들고 직접 운영합니다.
그래서 데모에서 멈춥니다
AI를 붙여 봤는데 실제 서비스로는 못 갔다는 이야기를 자주 듣습니다. 이유는 대체로 셋 중 하나입니다. 뉴라우트는 그 셋을 처음부터 설계합니다.
"대화가 길어지면 앞에서 한 말을 잊어서요."
기억을 먼저 설계합니다
대화 이력과 장기 기억을 나눠 저장하고, 매 턴 무엇을 읽고 무엇을 남길지 정합니다. 세션이 끊겨도 사용자를 기억하는 건 모델의 능력이 아니라 설계의 결과입니다.
"그럴듯하게 말하는데 근거가 없어서요."
답하기 전에 먼저 찾게 합니다
벡터 검색으로 근거가 될 문서를 먼저 찾고, 찾은 것을 바탕으로만 말하게 합니다. 어떤 문서가 어떤 답을 만들었는지 되짚을 수 있어야 틀렸을 때 고칠 수 있습니다.
"숫자나 규칙이 걸리면 자꾸 틀려서요."
계산은 모델에게 맡기지 않습니다
규칙이 정해진 영역은 검증 가능한 계산 엔진으로 따로 만들고, 에이전트가 그 엔진을 도구로 부르게 합니다. 계산은 엔진이 책임지고, 모델은 설명을 맡습니다.
에이전트는 이렇게 동작합니다
설명을 위해 그린 그림이 아닙니다. 우리가 직접 운영하는 서비스에서 지금 돌아가고 있는 구성입니다.
입력
사용자의 질문과 지금까지의 대화 맥락을 받는다
계획
무엇을 답해야 하는지 판단하고 필요한 도구를 고른다
도구 호출
계산 엔진과 백엔드 API를 불러 사실을 가져온다
기억
이전 대화와 장기 기억을 읽고, 이번 대화를 남긴다
응답
가져온 사실을 근거로 답을 만들어 스트리밍한다
대화 그래프
분기와 재시도를 그래프로 정의합니다. 어느 단계에서 무엇이 일어났는지 되짚을 수 있습니다.
LangGraph장기 기억
대화 이력은 세션 단위로, 사용자에 대해 알게 된 것은 장기 기억으로 따로 둡니다. 매 턴 무엇을 읽어 올지 그래프가 정합니다.
MongoDB문서 검색
답에 근거가 필요한 질문이면 먼저 문서 저장소를 검색합니다. 어떤 문서가 답에 쓰였는지 로그에 남습니다.
Qdrant프롬프트 관리
프롬프트를 코드가 아니라 데이터로 관리합니다. 배포 없이 고칠 수 있고, 무엇이 언제 바뀌었는지 기록이 남습니다.
Prompt Registry
서비스마다 그래프를 따로 둡니다. 한 서비스를 고쳐도 다른 서비스가 흔들리지 않습니다.
일하는 순서
문의하신 뒤 무엇이 어떤 순서로 진행되는지 미리 알려 드립니다.
문의
무엇을 자동화하고 싶은지 알려 주세요. 아이디어 단계여도 괜찮습니다. 영업일 기준 1~2일 안에 회신드립니다.
범위 정리
에이전트가 무엇에 답하고 무엇에는 답하지 않을지 먼저 정합니다. 지금 기술로 안 되는 것도 이때 말씀드립니다.
에이전트 설계
대화 그래프, 기억할 것, 부를 도구, 검색할 문서를 정합니다. 여기서 합의된 것이 개발의 기준이 됩니다.
개발
에이전트와 제품을 함께 만듭니다. 진행 상황은 실제로 대화해 볼 수 있는 화면으로 공유합니다.
배포
실제 환경에 올리고 대화 로그·응답 지연·오류를 볼 수 있게 연결합니다.
운영
실제 대화를 보며 프롬프트와 검색을 다듬습니다. 답 품질은 출시가 아니라 여기서 올라갑니다.
우리가 할 수 있는 일
에이전트를 설계하고, 그 에이전트가 올라갈 제품을 만들고, 규칙이 복잡한 도메인을 계산 엔진으로 옮깁니다.
무엇이 다른가
회사가 아니라 구축 방식을 놓고 비교했습니다. 어느 방식이 맞는지는 풀려는 문제에 달려 있습니다.
| 비교 항목 | 프롬프트 챗봇 | 뉴라우트 | 범용 SI 구축 |
|---|---|---|---|
| 대화 설계 | 프롬프트 한 장 | 그래프로 분기·재시도를 정의 | 요구사항 명세대로 구현 |
| 답의 근거 | 모델이 아는 대로 답함 | 문서를 먼저 찾고 그 위에서만 답함 | 구성에 따라 다름 |
| 계산·규칙 | 모델에게 맡김 | 검증 가능한 엔진이 계산, 모델은 설명 | 별도 모듈로 구현 |
| 사용자 기억 | 대화창이 닫히면 사라짐 | 장기 기억을 분리 저장, 세션을 넘어 기억 | 요구사항에 있으면 구현 |
| 프롬프트 수정 | 코드를 고쳐 배포 | 데이터로 관리, 배포 없이 수정·변경 기록 | 변경 요청 후 배포 |
| 출시 이후 | 그대로 둠 | 실제 대화를 보며 같은 팀이 답 품질을 다듬음 | 유지보수 계약 범위 안에서 대응 |
동작하는 데모는 하루면 나옵니다. 매일 쓰이게 하는 건 그다음 일입니다.
시연이 끝난 자리에서 우리 일이 시작됩니다. 실제 대화를 보며 어디서 답이 흔들리는지 찾고, 기억할 것과 검색할 것을 다시 정하고, 도구를 부르는 순서를 고칩니다. 그렇게 만든 서비스를 우리가 직접 운영하기 때문에, 이 기준을 남에게만 요구하지 않습니다.