前几天就已经看到港大的:

MiniRAG框架了

没认真仔细看,看介绍知道了,这就是专门给中小型模型、端侧技术准备的RAG技术

然后周四的时候,看到了主动检索增强agent技术的时候,发现了图RAG技术的一个nano实现,即:nano_graphrag库

这个库,安装的不是很顺利,因为安装风格竟然是:pip install -e .

弄得我很懵逼,即使在venv环境下,还是报错

沮丧,python这边的包报错,往往都很灵性

暂时搁置了一下,晚上试图安装Meta的时候,又是包报错,都无语了,跑到人家VideoRAG群里,抱怨了几句,结果发现VideoRAG的实现竟又是使用了conda的,所以估计完全没问题

对高效且轻量级的检索增强生成(RAG)系统日益增长的需求,凸显了在现有RAG框架中部署小型语言模型(SLMs)时所面临的重大挑战。
由于SLMs在语义理解和文本处理能力上的局限性,当前方法面临严重的性能下降问题,这在资源受限的场景中阻碍了其广泛应用。
为了应对这些根本性限制,我们提出了MiniRAG,这是一种专为极简和高效而设计的新型RAG系统。

MiniRAG引入了两项关键技术创新:
(1)一种语义感知的异构图索引机制,将文本块和命名实体结合在一个统一结构中,减少了对复杂语义理解的依赖;
(2)一种轻量级的拓扑增强检索方法,利用图结构实现高效的知识发现,而无需高级语言能力。我们的大量实验表明,
MiniRAG在使用SLMs时,性能与基于LLM的方法相当,同时仅需25%的存储空间。

此外,我们还贡献了一个全面的基准数据集LiHua-World,用于评估轻量级RAG系统在现实设备场景下处理复杂查询的能力。

看了一下MiniRAG

主要的贡献点就是在测评集下,肯伊将小模型,注入Phi-3.5,1.5B的GLM和Qwen2.5-3B这类小模型,准确率提升不到10%左右吧

对比NaiveRAG吧

当然还是又贡献的

不能说人家没贡献;

======================================

不过更有趣的是它这个框架为了测评,所虚构的数据集

 https://github.com/HKUDS/MiniRAG/blob/main/dataset/LiHua-World/README_CN.md 

它里面有52周的记录


Time: 20260622_11:00
JenniferMoore: Hey Li Hua! Hope you're doing great! Could you please fill out a 
quick survey about your experience with our training sessions so far? 
Your feedback really helps me improve! 😊

LiHua: Hey Jennifer! Sure, I’ll fill out the survey. Thanks for checking in! 💪

JenniferMoore: Awesome! I appreciate it! Can't wait to hear what you think. 
Keep pushing yourself! 😄

LiHua: Will do! Looking forward to our next session! 🎸

JenniferMoore: That's the spirit! See you on Tuesday at 10am for some 
intense workout fun! 🤗💪 

LiHua: I'm excited! Just finished some prep for our session. See you soon! 🌟

JenniferMoore: Perfect! You're always so dedicated. It’s going to be a great session! 

随便打开一个文件,就是LiHua和某人的聊天记录

啊,行吧,这一看就是个合成数据

所以我让DS给我解释一下这三个概念




然后它的数据集里,还有一个就是问题集合,这个就麻烦了,看文档,他们竟然是动用了手工的标注

行吧

这工作量就相对来说很大了

直接就标注了问题、黄金答案、以及是否是多跳

它的黄金答案里,包含:Yes/No这种判别型问答,还包含文字回复性答案,以及少量的信息不足(其实就是无法回答)

三类

所以。。。

MiniRAG本身这个基于图RAG的架构,和LightRAG这类工作【有点类似于KAG的初步,整合了chunk和图】有些类似

以及它提升的性能,在10%左右来看

相比于它提升的性能而言

数据集本身倒是更有趣一些

给了我不少的启发

我倒是可以依据该数据集,来做一个类似的个人数据集,来评估提示词、pipeline以及未来可能加入的LightRAG技术

对我虚拟人格的那个项目来做数据评估

OK

以前都是工程师方法,评测也都多少有点偏主观了

大致晓得学界怎么评测一个系统的,但确实不晓得具体怎么做的

所以这个李华数据集,这种合成数据集,和标注方法,给了我一个相当不错的示范

算是给我这种工程派的小白一个很好的启发