AI エージェント開発AI エージェントをプロダクトにする
デモは簡単です。毎日使われるプロダクトは違います。NewRoute は会話フローと記憶、検索とツール呼び出しまで設計し、実際に動く AI サービスをつくって自ら運用します。
だからデモで止まります
AI を試してみたが実際のサービスにはできなかった、という話をよく聞きます。理由はたいてい三つのうちのどれかです。NewRoute はその三つを最初から設計します。
「会話が長くなると、前に言ったことを忘れてしまう。」
記憶を先に設計します
会話履歴と長期記憶を分けて保存し、毎ターン何を読み何を残すかを決めます。セッションをまたいでユーザーを覚えているのは、モデルの能力ではなく設計の結果です。
「もっともらしく話すが、根拠がない。」
答える前に探させます
ベクトル検索で根拠になる文書を先に探し、見つけたものにもとづいてだけ話させます。どの文書がどの答えをつくったかを辿れてこそ、間違いを直せます。
「数字やルールが絡むと、すぐ間違える。」
計算はモデルに任せません
ルールが決まっている領域は検証可能な計算エンジンとして別につくり、エージェントがそれをツールとして呼びます。計算はエンジンが、説明はモデルが担当します。
エージェントはこう動きます
説明のために描いた図ではありません。自社で運用しているサービスで、今動いている構成です。
入力
ユーザーの質問とこれまでの会話の文脈を受け取る
計画
何を答えるべきか判断し、必要なツールを選ぶ
ツール呼び出し
計算エンジンとバックエンド API を呼び、事実を取得する
記憶
過去の会話と長期記憶を読み、今回の会話を残す
応答
取得した事実を根拠に答えを組み立て、ストリーミングする
会話グラフ
分岐とリトライをグラフとして定義します。どの段階で何が起きたかを後から辿れます。
LangGraph長期記憶
会話履歴はセッション単位で、ユーザーについて分かったことは長期記憶として別に持ちます。毎ターン何を読み戻すかはグラフが決めます。
MongoDB文書検索
根拠が必要な質問なら、まず文書ストアを検索します。どの文書が答えに使われたかはログに残ります。
Qdrantプロンプト管理
プロンプトをコードではなくデータとして管理します。デプロイなしで直せて、何がいつ変わったかの記録が残ります。
Prompt Registry
サービスごとにグラフを分けています。一つを直しても他のサービスは揺れません。
進め方
お問い合わせのあと、何がどの順で進むのかを先にお伝えします。
問い合わせ
何を自動化したいか教えてください。アイデア段階でも構いません。営業日ベースで1〜2日以内にご返信します。
範囲の整理
エージェントが何に答え、何には答えないかを先に決めます。今の技術では難しいことも、この段階でお伝えします。
エージェント設計
会話グラフ、記憶するもの、呼ぶツール、検索する文書を決めます。ここで合意したものが開発の基準になります。
開発
エージェントとプロダクトを一緒につくります。進捗は実際に会話できる画面で共有します。
リリース
本番環境に載せ、会話ログ・応答遅延・エラーが見えるように接続します。
運用
実際の会話を見ながらプロンプトと検索を調整します。回答品質はリリース時ではなく、ここで上がります。
できること
エージェントを設計し、それが載るプロダクトをつくり、ルールが複雑な領域を計算エンジンに移します。
何が違うのか
会社ではなく構築方式で比較しました。どの方式が合うかは、解こうとする課題によります。
| 比較項目 | プロンプト型チャットボット | NewRoute | 汎用 SI 構築 |
|---|---|---|---|
| 会話設計 | プロンプト一枚 | 分岐・リトライをグラフで定義 | 要件定義どおりに実装 |
| 答えの根拠 | モデルが知っている範囲で答える | 文書を先に探し、その上でだけ答える | 構成によって異なる |
| 計算・ルール | モデルに任せる | 検証可能なエンジンが計算し、モデルは説明 | 別モジュールとして実装 |
| ユーザーの記憶 | ウィンドウを閉じると消える | 長期記憶を分けて保存し、セッションをまたいで記憶 | 要件にあれば実装 |
| プロンプトの修正 | コードを直してデプロイ | データとして管理し、デプロイなしで修正・変更記録あり | 変更依頼のあとデプロイ |
| リリース後 | そのまま | 同じチームが実際の会話を見て回答品質を調整 | 保守契約の範囲内で対応 |
動くデモは一日でできます。 毎日使われるようにするのは、その先の仕事です。
デモが終わったところから、私たちの仕事が始まります。実際の会話を見てどこで答えが揺れるかを探し、記憶するものと検索するものを決め直し、ツールを呼ぶ順番を直します。つくったサービスを自分たちで運用しているからこそ、この基準を他人にだけ求めることはしません。