OpenAI Realtime
WebRTCで音声を直接やり取りし、gpt-realtime-mini（上位プランはgpt-realtime-2）で応答します。ターン検出には semantic_vad を採用し、無音時間だけでなく発話の意味的な区切りまで見て「間」を判定します。
TECHNOLOGY / 技術詳細
会話の速さと正確さは、設計で作る。
UniAgentの対話は、単一の大規模言語モデルにすべてを任せているわけではありません。 音声対話・資料検索・回答生成・情報保護をそれぞれ専用に設計し、組み合わせています。 ここでは、その技術構成を具体的に紹介します。
技術スペック概要
- 音声エンジン
- OpenAI Realtime（WebRTC）/ Grok Voice（WebSocket・xAI）
- ターン検出
- semantic_vad（OpenAI）/ server_vad（Grok）
- 応答モデル
- GPT-5.5 → GPT-4o-mini → Claude Sonnet 4.5（階層フォールバック）
- 資料検索
- ハイブリッドRAG（キーワード＋ベクトル）
- レート制限
- Upstash Redis 分散スライディングウィンドウ
VOICE / リアルタイム音声対話
2つの音声エンジンを、用途で使い分ける。
応答生成だけでなく、会話の始まり・止まり方（ターン検出）の作り込みが体感速度を左右します。
Grok Voice（xAI）
WebSocketでPCM16音声を直接送受信するエンジンです。ターン検出は無音時間ベースの server_vad のみで、semantic_vad 相当の機能は現時点でGrok側に確認できていません。設定パネルからいつでも切替できます。
バージイン（会話を遮って話せる）
ユーザーが話し始めた瞬間に、サーバー側の応答生成を停止し（response.cancel）、 再生中の音声も即座に止めます。以前は一部エンジンでローカル再生のみ停止し、 サーバーは応答を生成し続けていたため、この挙動を両エンジンで統一しました。
RAG / 資料理解
キーワードとベクトルを、両方使う。
自社資料からの回答は、根拠となるチャンクの選び方に設計を寄せています。
ハイブリッド検索
キーワード一致とベクトル類似度を組み合わせてスコアリングします。日本語は単語の境界がはっきりしないため、文字バイグラムの重なりも見て、形態素解析なしでも部分的な意味の重なりを拾います。
スコープ絞り込みと救済
商品・カテゴリ・業種で検索範囲を絞りますが、範囲外でも語彙スコアが明確に高いチャンクは救済的に候補へ戻します。フィルタは精度を上げる補助であり、絶対的な足切りにはしていません。
非公開情報の除外
社外秘に指定した資料チャンクは常にスコアリング対象から除外し、回答の根拠として使われないようにしています。参照元が無い質問には無理に断定しません。
REASONING / 回答モデルの構成
速さが要る受け答えと、正確さが要る判断を、モデルで分ける。
リアルタイム音声モデルは低遅延を優先した設計のため、込み入った質問はその場で無理に答えず、 上位モデルに委譲します（Tool Useの answer_with_expert）。委譲先は一次モデルとフォールバックの階層構成です。
一次モデル：GPT-5.5
ブラインド評価（20問×2名の判定）で他候補より明確に精度が高かったモデルを、回答生成の一次モデルに採用しています。
フォールバック：GPT-4o-mini
一次モデルの呼び出しが失敗した場合に切り替える、高速なフォールバックモデルです。
予備経路：Claude Sonnet 4.5
OpenAI系が両方失敗した場合、またはOpenAIキー未設定時のみ使う最終予備です。並行して答え合わせをする構成ではなく、可用性のための階層フォールバックです。
AUDIO QUALITY / 音声品質
「聞き取りやすさ」も、個別に作り込む。
適応ノイズゲート
周囲雑音のレベルを常時追跡して閾値を自動調整し、短い相槌（「うん」等）を誤って割り込みと判定しないよう調整しています。
自動ゲイン調整（Grok）
音量のばらつきを一定の目標値に近づける自動ゲイン調整で、声の大小による聞き取りづらさを抑えています。
発音辞書
ブランド名など読み間違えやすい語は、読み仮名を指定する辞書で補正しています。
残響音声の破棄
割り込み発生時、直前の応答の音声チャンクが遅れて再生されないよう破棄する処理を入れています。
EMOTION SENSING / 実装中
「検討中の温度感が見えない」を、声から可視化する。
Grok音声経路で、ためらいや前のめり具合といった声のトーンを、64次元のベクトルとして推定するエンジンを実装しています。 外部の感情計測APIには依存せず、内製の3層構成です。Hume AIのような汎用モデルに対して、 購買意欲・懐疑・意思決定準備度など商談化に直結する項目を独自に設計している点が違いです。 推定しているのは話者の内心そのものではなく、声に表れた「表出シグナル」である点を明確にし、 UIでも断定表示ではなく傾向として示します。
層1：音響韻律特徴
ピッチの平均・レンジ・揺らぎ、声量の変動、間の取り方などを発話ごとに集計し、「普段より早口」「声が沈み気味」のようにセッション内の相対差として言語化します。
層3：LLMによる評価融合
文字起こし・会話履歴・層1の特徴を軽量モデルに渡し、64次元ベクトルを信頼度つきで出力させます。営業会話では感情の主信号がテキスト意味に乗るため、推定の一次責務はこの層が持ちます。
層2：自己教師あり音声表現
emotion2vec+（ACL Findings 2024・Apache-2.0）の埋め込みを、64次元の感情ヘッドへ蒸留する構想です。層1・層3を精緻化する補助レイヤーと位置づけています。
- Phase A
音響韻律特徴の抽出とエスカレーション照会への注入
実装済み - Phase B
LLM融合エンドポイントで64次元ベクトルを生成し、温度感バッジで表示
実装済み - Phase B.1
出力の安定化（複数回サンプリングの平均化、信頼度の明示、音質が低いターンの除外）
未着手 - Phase C
emotion2vec+ワーカーで層2の埋め込みを追加
未着手 - Phase D
実会話ログでの較正（成約・離脱との相関検証）
未着手
音響からの汎用感情分類そのものの精度では、大規模な教師データを持つ専門ベンダーに一日の長があります。 本エンジンの狙いは単体の感情推定精度を競うことではなく、営業の会話文脈と組み合わせて温度感を可視化することです。
音声の分析を含む取り扱いは、デモ入場時に品質改善目的として告知し、入場をもって同意を得る運用にしています。 出力は人の判断を補助する参考情報として位置づけ、単独で自動的な合否判定などには使いません。
SECURITY / 信頼性
情報を守る設計も、対話の外側にあります。
分散レート制限
Upstash Redisを使ったスライディングウィンドウ方式で、クライアント単位・全体単位のレート制限を並行してチェックしています。
アクセス権限の分離
非公開デモの閲覧は、メール認証を経た署名付きCookieでのみ許可します。ログインだけでは閲覧できない設計です。
クライアント側に見える情報の制御
音声接続方式によっては、システム指示がブラウザの通信内容として見える場合があります。該当する経路では、金額や非公開資料の内容をその場に埋め込まず、必要な時だけツール呼び出しで取得する設計にしています。
利用状況の計測
セッション時間や応答レイテンシを記録し、エンジンごとの品質比較や費用の把握に使っています。
COMPARE / 技術面での違い
要素ごとの新しさより、この用途への組み合わせで見る。
音声対話やRAGは業界的に一般化しつつあり、単体では珍しくありません。 サイトに常設し、双方向の音声・バージイン・資料根拠・温度感の可視化・人への引き継ぎまでを 一つの接客体験として組み合わせている点が、公開情報から見た違いです。
| 比較軸 | 国内AIアバター接客系*受付・サイネージ・面接等 | 海外Web AI SDR系**サイト常設のテキスト対話中心 | UniAgentサイト常設・音声セールス接客 |
|---|---|---|---|
| サイト常設の双方向リアルタイム音声 | 受付・サイネージ・面接用途では対応例あり。BtoBサイト常設のセールス接客への適用は限定的 | 主要プレイヤーはテキストチャットが中心。音声は別製品（架電）や一部機能として提供 | サイト常設のセールス接客に、双方向のリアルタイム音声を標準搭載 |
| 発話中の割り込み対応（バージイン） | 公開情報では確認できず | 公開情報では確認できず（基盤となる音声APIレベルでは標準対応が一般的） | 標準搭載。話しかけると応答生成をサーバー側で即座に停止し、再生も止める |
| 資料根拠の回答（RAG／ドキュメントグラウンディング） | 資料学習を謳う例が増加。検索方式の詳細は非公開のものが多い | 資料学習を謳う例が増加。一部はRAGを明記 | キーワードとベクトルのハイブリッド検索で根拠チャンクを選定 |
| 商談中の温度感・感情表出シグナル | 公開情報では確認できず（来訪者属性の映像解析を行う例はある） | 行動・企業属性ベースの『インテントスコア』はある。会話中の音声からの表出分析は確認できず | 会話の声のトーンから温度感シグナルを推定しUIに表示（実装中） |
| 回答の使い分け（即答モデル→上位モデルへの委譲） | 公開情報では確認できず | 一部でマルチエージェント構成の例あり | 低遅延の即答モデルと、精度重視の上位モデルを役割分担 |
| 人の営業担当への引き継ぎ | 有人対応へ引き継ぐ例あり | CRM連携・引き継ぎ用サマリーの提供例あり | 関心テーマ・課題・次アクションを整理して引き継ぎ |
*国内のAIアバター接客（受付・サイネージ・面接等）カテゴリを想定した比較です。特定の国内企業を指しません。 **海外のWebsite AI SDR（サイト上でテキスト対話を中心に提供するSaaS）カテゴリを想定した比較です。特定の海外企業・製品名を指しません。 各社が公開しているウェブサイト・プレスリリース等の情報をもとに2026年7月時点で整理したもので、非公開の内部実装までは確認できていません。
実際の応答速度と回答の精度は、デモで直接お試しいただけます。