RAG学习资源

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, et al.

NeurIPS 2020

这篇开创性论文首次提出了RAG的概念，将检索系统与生成模型结合，显著提升了知识密集型任务的性能。

REALM: Retrieval-Augmented Language Model Pre-Training

Kelvin Guu, Kenton Lee, Zora Tung, et al.

ICML 2020

提出了一种将检索机制集成到预训练阶段的方法，使语言模型能够在预训练过程中学习如何检索和利用知识。

Improving Language Models by Retrieving from Trillions of Tokens

Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, et al.

ICML 2022

介绍了RETRO模型，展示了如何从海量文本数据中进行高效检索，并将检索结果整合到语言模型生成过程中。

Efficient and Effective Similarity Search for Large Scale Information Retrieval

Marius Muja, David G. Lowe

Computer Vision and Pattern Recognition 2014

详细介绍了HNSW算法的原理和实现，这是目前最流行的向量索引算法之一。

Hybrid Retrieval for Retrieval-Augmented Generation

Zhengbao Jiang, Frank F. Xu, Luyu Gao, et al.

ACL 2023

探讨了在RAG系统中结合稀疏检索和密集检索的混合索引策略，以及如何有效融合不同检索结果。

ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT

Omar Khattab, Matei Zaharia

SIGIR 2020

提出了一种高效的上下文感知检索方法，通过延迟交互机制平衡了检索效率和效果，适用于分层索引策略。

LlamaIndex

一个强大的RAG框架，提供了丰富的索引策略和检索方法，支持多种数据源和LLM集成。

LangChain

一个用于构建LLM应用的框架，提供了丰富的RAG组件，包括多种索引和检索策略。

FAISS

Facebook AI开发的高效向量索引库，支持多种索引算法，包括HNSW、IVF、PQ等。

Milvus

开源向量数据库，专为嵌入相似性搜索和AI应用设计，支持多种索引类型和混合查询。

Elasticsearch

强大的搜索引擎，支持全文检索和向量搜索，适合构建混合索引RAG系统。

Building RAG-based LLM Applications for Production

DeepLearning.AI

由LlamaIndex创始人Jerry Liu和Andrew Ng共同讲授的短期课程，介绍如何构建生产级RAG应用。

LangChain: Chat with Your Data

DeepLearning.AI

由LangChain创始人Harrison Chase讲授，介绍如何使用LangChain构建RAG应用，与自己的数据进行对话。

Advanced RAG Techniques: A Comprehensive Guide

Pinecone

详细介绍了高级RAG技术，包括多种索引策略、检索方法和优化技巧。

RAG Architecture Explained

AI Coffee Break with Letitia

通过简明易懂的动画解释RAG的基本架构和工作原理。

Advanced RAG: Improving Retrieval for Chatbots

Stanford MLSys Seminar

斯坦福大学机器学习系统研讨会上关于高级RAG检索技术的讲座。

Vector Databases and Embeddings for RAG

Weights & Biases

详细介绍向量数据库和嵌入技术在RAG系统中的应用。

LlamaIndex Discord

LlamaIndex的官方Discord社区，有关于RAG和索引策略的活跃讨论。

LangChain Discord

LangChain的官方Discord社区，包含丰富的RAG相关讨论和资源。

r/LocalLLaMA

Reddit上关于本地部署LLM的社区，包含许多RAG实现的讨论。

The RAG Stack: A Reference Architecture

Eugene Yan

详细介绍了RAG系统的参考架构，包括各种索引策略和组件选择。

Patterns for Building LLM-based Systems & Products

Lilian Weng

OpenAI的Lilian Weng撰写的关于LLM应用模式的文章，包含对RAG的深入讨论。

Retrieval Augmented Generation: Streamlining the Creation of Intelligent Natural Language Processing Models

Pinecone

全面介绍RAG技术的工作原理、优势和实现方法。