在自然语言处理(NLP)领域,大型语言模型(LLMs)在理解和生成类似人类的文本方面取得了显著进展。然而,这些模型在处理知识密集型任务时常常遭遇局限性,例如提供准确和最新的信息。这就是检索增强生成(RAG)技术的用武之地,它通过整合外部知识源来增强LLMs,从而提高生成响应的质量和相关性。
图一:RAG系统架构概览
LLMs,如GPT-3及其后续版本,在理解广泛任务方面表现良好,但它们在处理特定领域的查询时可能会遇到困难,因为它们的知识仅限于训练期间接触到的数据。这导致了以下几个问题:
RAG通过检索外部数据库中的相关信息,并使用这些信息来指导生成过程,从而解决了这些挑战,提供了更准确和具有上下文相关性的响应。
RAG系统由两个主要部分组成:
过程如下:
实现RAG涉及几个技术考虑因素:
图二: 文本数据索引和向量化原理示意图
图三: 检索系统工作流程示意图
图四: 生成模块的生成过程示意图
近期的研究,如Lewis等人(2020)的工作,探索了RAG的各个方面,包括它对生成文本质量的影响以及有效整合检索和生成的方法。Shahul等人(2023)的论文介绍了RAGAS,这是一个用于评估检索增强生成(RAG)管道的框架,强调了自动化指标对于RAG系统开发的重要性。
以下通过CSDN的一位博主 百度Geek说 的一篇相关文章中截取的一个片段来说明RAG的优势:
图五: RAG的优势示例
“检索”、“利用”、“生成”是 RAG 的关键部分。
举个简单的例子:
你正在写一篇关于小狗的文章,但你对小狗的知识有限。这时,你很可能会进行以下操作:
1.检索(Retrieval):首先,你打开电脑,输入关键词为“小狗”的搜索请求,在互联网上检索了大量的关于小狗的文章、博客和信息。
2.利用(Utilization):接下来,你会分析这些搜索结果,并提取其中的重要信息,包括狗狗的种类、行为习惯、饲养方式等等。你将这些信息整理成一个知识库,这个知识库就像一本百科全书,里面包含了各种关于小狗的知识点。
3.生成(Generation):现在,你需要写文章。在文章的开头,通过一个问题引入:“小狗的寿命有多长?”随后,便可以使用之前检索和整理的信息来回答问题,或者生成文章的段落。这一步不仅仅是简单地复制粘贴,而是根据上下文和语法规则生成自然流畅的文本。
———————————————————————————————————————————
版权声明:以上片段来自CSDN用户 百度Geek说 的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/lihui49/article/details/136699678
相信在不远的将来,咱们写技术博客,都可以通过RAG轻松搞定了,到时候关键还是要看作者对某个细分领域应用场景的领悟和见解,但是知识和信息的获取将变得轻松高效。
RAG的未来在于其适应和随着NLP应用不断增长的需求而发展的能力。关注的关键领域包括:
RAG代表了语言模型在提供知识丰富和上下文相关响应方面的一大飞跃。通过弥合LLMs和外部知识源之间的鸿沟,RAG为更复杂的NLP应用铺平了道路,这些应用可以真正理解和与用户进行有意义的互动。
文章浏览阅读556次,点赞11次,收藏8次。7. 更新 Q 值:(, ) = (, ) + [(, ) + (′,) − (, )]step4:如果迭代次数达到地图和指南针算子的迭代上限,则停止当前迭代,转而操作地标算子,否则跳转至Step3;鸽子的位置信息和速度信息进行更新,然后比较所有鸽子的适应度,找到新的最优解;6. 在当前的状态 S 下执行动作 A,得到新的状态′和奖励(, )输入:迭代次数 T,状态集 S,学习率 α,探索率,折扣因子。_强化学习无人机航迹点
文章浏览阅读3.8k次。一、概述胸径是表达树木生长状况的重要的因子之一。传统方式以胸径尺、轮尺等接触式测量为主,外业工作量较大;使用地基激光雷达采集林业数据,须进行布设标靶、架站、扫描、移站等操作,完成整体数据采集需要花费一定的人力及时间,采集完的数据也需要进行多站拼接后才能输出最终的采集结果。本文介绍采用基于移动平台应用激光雷达技术,采取自下而上的扫描方式,获取树干/枝叶详细的结构信息,并对使用激光雷达数据软件进行单木..._背包slam算法
文章浏览阅读5.9k次,点赞4次,收藏16次。Konva一、介绍二、官方地址三、使用方法一、介绍Konva is an HTML5 Canvas JavaScript framework that extends the 2d context by enabling canvas interactivity for desktop and mobile applications.Konva enables high performance animations, transitions, node nesting, layering, fil_konva
文章浏览阅读2.5k次,点赞5次,收藏6次。将下载好的npz格式的mnist数据集导入到jupyter中的方法第一步:先从网上下载mnist数据集,数据集的格式为npz,这是一个压缩文件。第二步:将下载好的数据集导入到upyter 当前目录下,用upload上传数据集文件第三步:加载数据,并看压缩文件所包含的其他的东西,用:mnist=np.load(’./mnist.npz’)用mnist.files的命令来实现,打印print(mnist.files):[‘x_test’, ‘x_train’, ‘y_train’, ‘y_tes_jupyter怎么导入mnist数据集
文章浏览阅读2.9k次。复杂HTML解析一,三思而后行面对页面解析的时候,不假思索的直接写几行语句来抽取信息是非常直接的做饭,但是像这样鲁莽放纵的做法是非常不可取的,只会让程序变得难以调试和脆弱。那我们应该怎么做呢?寻找打印此页的链接,或者看看网站有没有HTML样式更友好的移动版。寻找隐藏在JavaScript文件里的信息如果你要的信息只存在这一个网站,别处没有,那你运气不佳,若不是可以考虑去其他容易解析网..._msydqjihosw2fsu3.onion
文章浏览阅读1.3k次。继承自flask.view.View,返回基于Response或其自类的对象from flask import Flask,viewsapp = Flask(__name__)class Listview(views.View): def dispatch_request(self): return 'list view'app.add_url_rule('/l..._flask 类视图应用场景
文章浏览阅读277次,点赞4次,收藏4次。深度学习人脸识别:InsightFace-REST 全方位解析项目地址:https://gitcode.com/SthPhoenix/InsightFace-RESTInsightFace-REST 是一个基于深度学习的人脸识别 RESTful API 服务,它提供了一个简洁而强大的接口,使得开发者能够轻松地在自己的应用中集成高精度的人脸检测、识别和属性分析功能。项目概述InsightFa...
文章浏览阅读517次。转自:http://www.kuqin.com/shuoit/20160107/349896.html“学习的最好途径就是看书“,这是我自己学习并且小有了一定的积累之后的第一体会。个人认为看书有两点好处:1.能出版出来的书一定是经过反复的思考、雕琢和审核的,因此从专业性的角度来说,一本好书的价值远超其他资料2.对着书上的代码自己敲的时候方便“看完书之后再次提升自我的最好途径是看..._有没有分析java源码的书籍
文章浏览阅读2.8k次。点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>CV微信技术交流群转载自:CSIG文档图像分析与识别专委会本文是对快手和浙大联合研究的视频OCR领域工作的简要介绍,包括 CoTex【Real-time End-to-End Video Text Spotter with Contrastive Representation Learning】和 SVRep..._dann的损失函数lrec计算公式
文章浏览阅读923次。文章目录一、代码1.1 utils_paths.py1.2 utils_paths.py二、结果代码目录:一、代码1.1 utils_paths.pyimport osimage_types = (".jpg", ".jpeg", ".png", ".bmp", ".tif", ".tiff")def list_images(basePath, contains=None): # return the set of files that are valid return_python opencv dnn
文章浏览阅读1.4k次。 springboot页面报错Unable to compile class for JSP,即不能编译JSPWhitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.Thu Jul 26 15:44:28 CST 2018..._an error occurred at line: [16] in the generated java fil
文章浏览阅读5.4k次。1,打开注册表HKEY_LOCAL_MACHINE (or HKEY_CURRENT_USER) SOFTWARE Microsoft Internet Explorer Main FeatureControl FEATURE_BROWSER_EMULATI