第264章 哈欠

本文以有关电力行业  LCA  的近十年的英文文献为研究对象，并根据每篇文章的元数据构建数据

库。进行文档分割，将文件分割为更小的部分或章节，分区后使其更容易分类和提取文本，将文档

元素列表存储并跟踪从文档中提取的各种元数据，将文本元素分割为适合模型注意力窗口的大小，

构建向量数据库，方便大模型调用。利用  RAG（检索增强生成）模型，帮助大语言模型知晓具有电

力  LCA  领域专业性和时效性的知识，包括最新的新闻、公式、数据等内容，增强大模型回答关于电

力行业  LCA  领域专业性问题与时效性问题的能力，主要用到的研究方法如下。

（1）文献资料法。通过阅读大量国内外研究检索增强生成的文章，确定将  RAG  技术作为提升

大语言模型回答电力行业  LCA  领域问题专业性与时效性问题的解决方法。文献调研显示，聚焦于此

领域的大模型是一个研究空白，将电力行业  LCA  的大模型应用于企业层面的分析，能够响应了重大

战略。该方法能够提升科研眼界、开阔研究思路、丰富研究角度。

（2）实验法。本文使用爬虫程序抓取各顶级期刊官网上近十年的文章，并通过元数据处理方

法，构建文章元数据的数据库。

（3）实证分析法。本文通过大量实际数据，来验证大模型调用电力行业  LCA  领域向量数据库

回答该领域专业性问题和时效性问题的有效性。

系统设计三个模块，整体设计如图  1.4  所示，分别是数据处理模块、专业领域知识库构建模块

以及  Chatbot  构建模块。数据处理模块主要包括对电力  LCA  这个特定领域的英文文献进行选择和初

步处理，而后将有关数据全部转化成结构化数据。知识库构建模块主要是将数据向量化并构建向量

知识库。Chatbot  构建分为功能部分和前端部分，功能包括  OpenAI  基座的调用、知识库检索、在

线检索；前端部分为  web  可视化以及  UI  设计。

第一章作为本论文的引言部分，主要围绕研究背景、研究目的与意义、研究内容与方法以及系

统设计进行了全面的阐述。首先，本章通过详细阐述当前大模型技术在内容解析领域的背景，指出

了电力行业生命周期评价的重要性，并强调了研究流程和研究方法。在这一基础上，本章进一步明

确了项目系统功能设计。综上所述，本章作为论文的引言部分，为整个研究提供了清晰的研究背

景、目的、意义、内容及方法概述，为后续章节的展开奠定了坚实的基础。

ChatGPT  是由  OpenAI  发布的一种大语言模型，能够以问答的形式完成各类任务，包括接受文

字输入，理解自然语言，理解响应并模拟人类对话形式进行输出。再各个自然语言处理子任务具有

优异的表现。相比其他大语言模型拥有更丰富的知识，涵盖自然、社会科学、人文历史等多个领

域。ChatGPT  在  GPT3.5  的基础上引入了  RLHF（reinforcement  learning  from  human  feedback）

技术，通过将人类的日常对话的语言习惯嵌入模型，并引入价值偏好，使得模型的输出满足人类的

意图。微调过程分为预训练、监督微调、设计奖励模型和反馈优化。桑基韬等人根据  ChatGPT  的对

话对象和定位将其应用分为四个层次：数据生成器、知识挖掘器、模型调度器和人机交互界面。在

多模态领域，Visual  ChatGPT、MM-ReAct  和  HuggingGPT  让视觉模型与  ChatGPT  协同工作来完成视

觉和语音任务。

除此以外，许多类  ChatGPT  的大模型也同样在自然语言处理方面展示出来了较好的效果。

LLaMA  是应该从  7billion  到  65billion  参数的语言模型，不需要求助于专有的数

知识抽取主要分为命名实体识别和关系抽取两方面。命名实体识别（NER）任务，旨在识别与

特定语义实体类型相关联的文本跨度。该任务最早于  1991  年由  Rau  等人提出。随着信息理解、人

工智能等领域的顶级会议对  NER  任务的评测，其定义逐渐细化和完善，并逐渐成为自然语言处理

（NLP）领域的重要组成部分。然而，不同领域对实体类型的定义存在差异，因此  NER  模型的构建

取决于特定领域任务需求，通常涵盖人物信息、地点信息和组织机构信息等。对于英语、法语、西

班牙语等外语文本，通常采用单词作为基本单位，因此基于这些语言的  NER  模型主要关注单词本身

的语义特征和上下文信息。然而，中文语料文本通常由字符构成，需要考虑字符的语义信息和词汇。

特征，同时引入其他表征信息来提升模型性能，如中文分词（CWS）、语义部分标签（POS）等外部

信息，因此构建中文命名实体识别（CNER）模型更为复杂。目前，NER  任务的研究方法主要包括基

于词典和规则的方法、基于机器学习（ML）的方法以及基于深度学习（DL）的方法。

目前，联合实体和关系提取神经模型可分为参数共享和序列标注两种方式。然而，许多研究将

实体和关系的联合提取看作是序列标记问题。尽管如此，识别复杂的关系仍然是一个具有挑战性的

任务，需要进一步提高联合提取模型的性能。此外，大多数新兴的联合提取神经模型仅在英语基准

上进行了评估，其在其他语言或特定领域的有效性尚待验证。Google  机器翻译团队提出了一种包

括自注意力机制和多头注意力机制的  transformer  结构。相较于循环神经网络（RNN）或卷积神经

网络（CNN），多头注意力机制具有许多吸引人的优点。在中文命名实体识别任务中，数据集中存在

大量非结构化文本，因此需要从多个角度和多层次来提取文本本身的更多特征。近年来，多头注意

力机制在命名实体识别任务中得到了广泛应用。例如，Li  等人采用了基于自注意力机制的深度学

习模型，而  Yin  等人则提出了一种名为  ARCCNER  的模型，该模型利用  CNN  网络学习中文激进特征并

使用自我注意机制自动获取权重。尽管字符特征得到了增强，但激进级别的特征仍然难以获取，这

不仅耗费成本，而且模型性能提升有限，尚未解决  BiLSTM  网络中的信息遗忘问题。

而基于大模型的知识抽取，流程如图  2.1  所示，是指利用具有数千万甚至数亿参数的深度学习

模型来进行知识抽取的过程。这种大模型通常基于深度学习原理，通过利用大量的数据和计算资源

来训练具有大量参数的神经网络模型，以在各种任务中取得最佳表现。

在知识抽取的场景中，大模型可以通过对大量非结构化文本的学习，自动识别和提取出其中的

结构化信息，如语义信息丰富的标签、短语等。这种过程可以通过识别、理解、筛选和格


　　(https://www.lw00.cc/2607/2607375/11110828.html)


1秒记住乐文小说网：www.lw00.cc。手机版阅读网址：m.lw00.cc