# 实时语音转写大模型

# 1. 概述

# 1.1 功能整体概述

实时语音转写大模型版，是基于星火大模型预训练技术框架训练的识别大模型，服务核心功能为语音识别，即将不限时长的语音识别为文字内容。

# 1.2 接口协议整体概述

实时转写服务分为两种类型的协议：

• 一种是 websoket（简称 ws）协议，用于实时地将音频输入到服务端，并通过 websocket 协议实时获取转写结果、翻译结果。
• 一种是 http 接口协议，用于操作一些辅助功能，比如：声纹注册。

# 2. 音频转写接口

实时语音转写接口调用包括两个阶段：握手阶段和实时通信阶段。

# 2.1 握手阶段

websocket 协议带参请求：

wss://office-api-ast-dx.iflyaisol.com/ast/communicate/v1?{请求参数}

常见的实际生产的一个 ws 握手请求的 url 示例如下，含义为实时转写 pcm 格式 16000 采样率的实时转写结果：

wss://office-api-ast-dx.iflyaisol.com/ast/communicate/v1?accessKeyId=bb1542cda0ab4696031e2f3244206479&appId=27cc644f&uuid=664e7e56f779492ca75a58839914164b&utc=2025-09-04T15%3A38%3A07%2B0800&audio_encode=pcm_s16le&lang=autodialect&samplerate=16000&signature=4PuTRjRmWbJecdZQoANVA4I9B0s%3D

# 请求参数格式

key1=value1&key2=value2…（key 和 value 都需要进行 urlencode）

# 业务参数说明

# signature 生成

1. 获取 baseString，步骤如下：

   • 将所有请求参数（不包含 signature）按参数名进行升序排序
   • 对每个参数的键和值分别进行 URL 编码
   • 按照 "编码后的键=编码后的值&" 的格式拼接所有参数
   • 移除最后一个多余的 "&" 符号，得到 baseString

   示例: accessKeyId=XXX&appId=XXX&lang=cn&utc=2025-03-24T00%3A01%3A19%2B0800&uuid=edf53e32-6533-4d6a-acd3-fe4df14ee332
   

2. 以 accessKeySecret 为密钥，对 baseString 进行 HmacSHA1 加密，得到二进制字节数组

3. 对 HmacSHA1 加密后的字节数组进行 Base64 编码，得到最终的 signature

   示例: IrrzsJeOFk1NGfJHW6SkHUoN9CU=
   

# 2.2 实时通信阶段

握手成功后，进入实时通信阶段，客户端主动操作有两种：上传数据和上传结束标识，被动操作有两种：接收转写结果和错误。

• 上传数据：实时转写过程中，客户端不断构造 binary message 发送到服务端，内容是音频的二进制数据。建议音频流每 40ms 发送 1280 字节，发送过快可能导致引擎出错；音频发送间隔超时时间为 15 秒，超时服务端报错并主动断开连接。
• 上传结束标志：音频数据上传完成后，客户端需发送一个结束标识，并且制定会话sessionId：

  {"end": true, "sessionId": "d49ddd6f-c451-35ea-b8c4-2c75af837caa"}
  

# 2.3 返回结果说明

返回结果为 JSON 格式，具体字段说明如下：

# 2.3.1 转写结果

# 2.3.2 返回结果示例

• 正常结果：

  {
      "msg_type": "result",
      "res_type": "asr",
      "data": {
          "seg_id": 0,
          "cn": {
              "st": {
                  "rt": [
                      {
                          "ws": [
                              {
                                  "cw": [
                                      {
                                          "w": "项",
                                          "wp": "n",
                                          "rl": 0,
                                          "lg": "cn"
                                      }
                                  ],
                                  "wb": 15,
                                  "we": 64
                              },
                              {
                                  "cw": [
                                      {
                                          "w": "兽",
                                          "wp": "n",
                                          "lg": "cn"
                                      }
                                  ],
                                  "wb": 65,
                                  "we": 95
                              },
                              {
                                  "cw": [
                                      {
                                          "w": "南",
                                          "wp": "n",
                                          "lg": "cn"
                                      }
                                  ],
                                  "wb": 96,
                                  "we": 147
                              }
                          ]
                      }
                  ],
                  "bg": 930,
                  "type": "0",
                  "ed": 2590
              }
          },
          "ls": false
      }
  }
  

• 异常结果：

  {
      "data": {
          "desc": "功能异常",
          "detail": {
              "domain": "ist_ed_test"
          },
          "fnType": "ast",
          "normal": false
      },
      "msg_type": "result",
      "res_type": "frc"
  }
  

# 3. 辅助功能接口

# 3.1 个性化热词

为提高用户在自身业务场景的识别准确度，支持在控制台 (opens new window)上传专业词汇，以提高相应的识别权重。

# 3.2 角色分离

角色分离提供两种主要模式：盲分和声纹分离：

• 盲分：应用于说话人群不固定，无法确认对应身份的场景。
• 声纹分离：应用于说话人固定，需要清晰区分出具体是谁说了什么内容的场景。(即将上线，敬请期待)

# 4. 语种列表

# 5. 代码示例

Python 代码示例 (opens new window)

Java 代码示例 (opens new window)

# 6. 错误码表