レイテンシ(遅延)
レイテンシとは、ユーザーが指示や質問を送信してから、AIが最初の反応を返すまでにかかる待ち時間(通信や処理の遅延時間)のことです。
レイテンシ(遅延)とは、システムに指示や質問を送信してから、応答が実際に返り始めるまでに発生する待ち時間のことです。IT全般では通信の往復時間を指すことが多いですが、大規模言語モデル(LLM)などの生成AIでは、ユーザーがプロンプトを入力して送信ボタンを押してから、AIが最初の1文字目(最初のトークン)を出力するまでの処理時間を指す指標としてよく使われます。
生成AIの使い心地は、出力全体の完了速度だけでなく、このレイテンシによって大きく左右されます。画面が固まったように見える空白時間が短いほど、対話は自然で快適に感じられます。
なぜAIでレイテンシが発生するのか
AIが応答を返すまでには、いくつかの処理段階が存在します。ユーザーが送信した文章はインターネットを経由してサーバーに届き、AIモデルが文脈を読み解き、次に続く最適な言葉を計算によって導き出します。この一連の工程すべてに時間がかかります。
特にレイテンシに大きな影響を与える要因には、以下のようなものがあります。
- モデルの規模: パラメータ数が多く賢いモデルほど、1回の計算に時間がかかります。
- 入力プロンプトの長さ: 過去の会話履歴や参照資料が膨大だと、最初の読み込み処理に時間がかかります。
- 思考プロセスの有無: 複雑な論理展開を行う推論モデルは、回答を書き出す前に内部で検討を重ねるため、待ち時間が長くなります。
- サーバーの混雑度: 同時に多くの人が利用しているクラウド環境では、計算の順番待ちが発生します。
日常やビジネス現場における具体例
レイテンシの許容度は、AIを使う場面によってまったく異なります。
たとえば、東京都内のクリニックで導入されている自動音声受付や、駅構内の案内AIを考えてみましょう。利用者が「予約の変更をしたいです」と話しかけた後、AIが数秒間も沈黙してしまうと、利用者は「声が届いていないのかな」と不安になり、もう一度話し始めたり電話を切ってしまったりします。このような音声対話や、エンジニア向けのコード自動補完機能では、ミリ秒単位の極めて低いレイテンシが求められます。
一方で、地方の特産品を扱うオンラインショップが、長文のメルマガ下書きや月次売上レポートの分析をAIに依頼する場面では、最初の反応に5秒や10秒かかったとしても実務上の支障はほとんどありません。用途に合わせた速度設計が不可欠です。
開発や業務でレイテンシを短くする工夫
AIアプリケーションを構築する開発者や業務担当者は、用途に応じてモデルを使い分ける工夫をしています。即答性が求められるユーザー窓口には小型で機敏なモデルを配置し、高度な計算や深い分析が必要なバックオフィス業務には大型モデルを割り当てる手法が一般的です。
また、すべての文章が完成するのを待ってから一括表示するのではなく、生成された単語から順番に画面へ流し込むストリーミング出力を採用することで、利用者が体感する待ち時間を大幅に減らすことができます。
よくある誤解:スループットとの違い
よく混同される概念に「スループット」があります。レイテンシが「最初の反応が始まるまでの時間」であるのに対し、スループットは「1秒間にどれだけ大量の文章を処理・生成できるか」という処理総量を表します。いくら全体の生成スピードが速いモデルでも、最初の1文字目が出るまでに長い沈黙があれば「レイテンシが大きい(遅い)」と評価されます。両者の違いを理解しておくことが、適切なAIツールの選定につながります。
よくある質問
レイテンシと応答速度は何が違いますか?
ほぼ同義として使われますが、厳密にはレイテンシは処理開始から最初の応答が返るまでの「遅延時間」を指し、応答速度は処理全体にかかる時間や1秒あたりの文字生成ペースを含めて評価されることが多いです。
AIのレイテンシを縮めるために利用者ができることはありますか?
入力する指示文(プロンプト)を簡潔にし、不要に長い会話履歴や不要な添付ファイルを減らすことで、モデルが読み込むデータ量を減らし遅延を抑えることができます。
TTFTとは何のことですか?
Time to First Tokenの略で、リクエストを送信してから最初の1トークン(文字や単語の構成単位)が返ってくるまでにかかった時間を指す、レイテンシ測定の標準的な指標です。
