(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365109.6 (22)申请日 2022.11.03 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 何奇　黄若兰　陈智　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 甘茂 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/284(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)H04B 17/336(2015.01) H04B 17/373(2015.01) (54)发明名称 一种用于网络边缘设备的文本传输和语义 理解一体化方法 (57)摘要 本发明属于通信和自然语言处理交叉技术 领域， 具体提供一种用于网络边缘设备的文本传 输和语义理解一体化方法， 包括发送端、 接收端 及无线信道， 接收端的语义解码器在不恢复原始 文本信息的情况下， 采用分类器得到意图信息， 采用循环神经网络GRU模型逐个生成语义槽的单 词序列内容， 从而得到包括意图与语义槽的结构 化信息。 本发明能够大幅降低运算开销， 基于网 络边缘设备十分有限的计算和储存能力， 在接收 端不恢复自然语 言输入的情况下， 能够直接从通 信信号特征中提取结构化的意图和语义槽信息 序列， 实现自然语言理解。 本发明适用于万物互 联的5G、 6G通信时代， 人与机器、 机器与机器之间 的文本语义传输和控制场景。 权利要求书2页 说明书9页 附图8页 CN 115470799 A 2022.12.13 CN 115470799 A 1.一种用于网络边缘设备的文本传输和语义理解一体化方法， 包括： 发送端与接收端； 所述发送端包括： 语义编码器与信道编码器， 所述接收端包括： 信道解码器与语义解码器， 所述语义 解码器包括： 分类 器与循环神经网络GRU模型； 具体包括以下步骤： 步骤S1、 在发送端， 语义编码器将自然语言输入 X中每一个字符进行语义编码得到对应 的字符特征， 同时生 成一个[CLS]语义特征， 得到语义编码特征向量 F； 信道编码 器对语义编 码特征向量F进行降维与归一 化， 得到连续数值的信道传输语义特 征向量G； 步骤S2、 将信道传输语义特征向量 G进行调制， 并通过加性高斯白噪声信道无线传输至 接收端， 接收端接收语义特 征向量R； 步骤S3、 在接收端， 信道解码器将语义特征向量 R进行解码得到解码语义特征向量 T， 语 义特征向量 T包括[CLS]语义特征对应的解码语义特征 t0与解码字符特征向量 TC； 语义解码 器中分类器基于解码语义特征 t0得到自然语言输入的意图信息， 语义解码器中循环神经网 络GRU模型基于解码语义特征 t0与解码字符特征向量 TC得到自然语言输入的语义槽信息序 列。 2.根据权利要求1所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特征 在于， 步骤S3中， 解码语义特征 t0输入至分类器， 由分类器输出自然语言输入的意图信息； 同时， 循环神经网络GRU模型将解码语义特征 t0作为初始隐藏状态、 语义槽名称的嵌入表征 作为输入进行第1次迭代， 得到输出特征向量 Q； 基于输出特征向量 Q对解码字符特征向量 TC 进行注意力机制运算， 得到综合语义特征 p； 将综合语义特征 p与字典中各单词的嵌入表征 进行相似度计算， 并取相似度最大的单词作为语义槽信息序列的第一个单词估计 w1； 在循 环神经网络GRU模 型的第k轮迭代中， 将第 k‑1轮迭代得到的单词估计 wk‑1的嵌入表征作为输 入、 将第k‑1轮迭代的隐藏层输出作为隐藏状态， 计算得到第 k个单词估计 wk； 循环神经网络 GRU模型持续迭代直至 输出预定义结束符， 输出自然语言输入的语义槽信息序列。 3.根据权利要求2所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特征 在于， 所述注意力机制运算具体为： ， 其中，an表示输出特征向量 Q在第n 个字符上的语义相关性权重： ，W1表示矩阵参数； tn表示解 码字符特 征向量TC中第n个字符对应的解码字符特 征。 4.一种用于网络边缘设备的文本传输和语义理解一体化方法， 包括： 发送端与接收端； 所述发送端包括： 语义编码器与信道编码器， 所述接收端包括： 信道解码器与语义解码器， 所述语义 解码器包括： 分类 器与循环神经网络GRU模型； 具体包括以下步骤： 步骤S1、 在发送端， 语义编码器基于自然语言输入 X生成一个[CLS]语义特征， 作 为语义 编码特征向量 F； 信道编码器对语义编码特征向量 F进行降维与归一化， 得到连续数值的信 道传输语义特 征向量G； 步骤S2、 将信道传输语义特征向量 G进行调制， 并通过加性高斯白噪声信道无线传输至 接收端， 接收端接收语义特 征向量R； 步骤S3、 在接收端， 信道解码器将语义特征向量 R进行解码得到解码语义特征向量 T， 包 括[CLS]语义特征对 应的解码语 义特征t0； 语义解码器中分类器基于 解码语义特征t0得到自权　利　要　求　书 1/2 页 2 CN 115470799 A 2然语言输入的意图信息， 语义解码器中循环神经网络GRU模型基于解码语义特征 t0得到自 然语言输入的语义槽信息序列。 5.根据权利要求4所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特征 在于， 步骤S3中， 解码语义特征 t0输入至分类器， 由分类器输出自然语言输入的意图信息； 同时， 循环神经网络GRU模型将解码语义特征 t0作为初始隐藏状态、 语义槽名称的嵌入表征 作为输入进 行第1次迭代， 得到输出特征向量 Q， 作为综合语义特征 p； 将综合语义特征 p与字 典中各单词的嵌入表征进 行相似度计算， 并取相似度最大的单词 作为语义槽信息序列的第 一个单词估计 w1； 在循环神经网络GRU模型的第 k轮迭代中， 将第 k‑1轮迭代得到的单词估计 wk‑1的嵌入表征作为输入、 将第 k‑1轮迭代的隐藏层输出作为隐藏状态， 计算得到第 k个单词 估计wk； 循环神经网络GRU模型持续迭代直至输出预定义结束符， 输出自然语言输入的语义 槽信息序列。 6.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特 征在于， 所述语义编码 器采用由嵌入层与多层 多头自注 意力层组成的BERT 预训练模型或者 双向GRU模型。 7.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特 征在于， 所述信道编码器由全连接层与归一化层连接构成， 所述信道解码器由全连接层构 成。 8.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特 征在于， 所述分类 器由全连接层和softmax层构成。 9.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法， 其特 征在于， 涉及网络模型均经过预训练， 训练过程中惩罚函数 L为： ， 其 中，λ为超参数； Lint为意图分类的估计误差： ， 其中，U表示预测意图分布， Z 表示独热编码的意图标签； Lslot为语义槽信息序列的生成误差： ， 其 中，I表示预测语义槽信息序列的数量， J表示语义槽信息序列的长度， 表示第i个预测 语义槽信息序列中第 j个单词估计对应的综合语义特征在字典上的概率分布， 表示第 i个预测语义槽信息序列中第 j个单词估计的独热编码标签。 10.根据权利要求2或5所述用于网络边缘设备的文本传输和语义理解一体化方法， 其 特征在于， 所述相似度 计算具体为： ，sm表示综合语义特征 p与字典中第 m个 单词的相似度， W2表示矩阵参数， em表示字典中第 m个单词的嵌入表征。权　利　要　求　书 2/2 页 3 CN 115470799 A 3