Skip to content

🔍 RAG与检索 ​

Retrieval Augmented Generation and Database solutions.

当前分类已收录 594 个相关项目。

Data Parsers ​

firecrawl ​

专为AI设计的网页数据API,将网站转换为LLM可用的Markdown或结构化数据,是RAG应用的理想数据源。

  • Stars: ⭐️ 195.3k
  • Tags: 网页爬取 数据提取 LLM数据
  • 最后活动时间: 2026-10-25

markitdown ​

将文件和Office文档转换为Markdown的Python工具,支持PDF等多种格式,可集成到RAG和AI工作流中。

  • Stars: ⭐️ 192.2k
  • Tags: Markdown Document Conversion RAG
  • 最后活动时间: 2026-10-23

PaddleOCR ​

强大的轻量级OCR工具包,支持100+语言,可将PDF和图像转换为结构化数据。

  • Stars: ⭐️ 91.7k
  • Tags: OCR 文档解析 多语言
  • 最后活动时间: 2026-09-16

Scrapling ​

自适应AI网页抓取框架,支持从简单请求到大规模爬取,内置MCP服务器支持AI代理智能数据提取。

  • Stars: ⭐️ 89.7k
  • Tags: 网页抓取 MCP 数据提取
  • 最后活动时间: 2026-10-22

crawl4ai ​

开源的LLM友好型网络爬虫和抓取工具,专为AI应用优化。

  • Stars: ⭐️ 86.3k
  • Tags: 爬虫 数据采集 LLM
  • 最后活动时间: 2026-10-22

MinerU ​

将PDF等复杂文档转换为LLM可用的Markdown/JSON格式,支持RAG和Agent工作流。

  • Stars: ⭐️ 82.5k
  • Tags: PDF解析 文档处理 RAG
  • 最后活动时间: 2026-10-25

docling ​

为生成式AI准备的文档解析工具,支持PDF、DOCX、PPTX等多种格式转换为结构化数据。

  • Stars: ⭐️ 69.6k
  • Tags: Document Parsing PDF Converter GenAI Ready
  • 最后活动时间: 2026-10-25

scrapy ​

Scrapy 是一个快速、高层次的 Python 网络爬虫与数据抓取框架,广泛用于大规模网页数据采集。它是构建 RAG 知识库和 LLM 训练数据集时最常用的数据获取工具之一。

  • Stars: ⭐️ 65.0k
  • Tags: web-scraping crawler python data-collection data-extraction
  • 最后活动时间: 2026-10-22

EasySpider ​

可视化无代码网页爬虫工具,支持图形化设计和执行数据采集任务,适合AI训练数据收集和RAG数据准备。

  • Stars: ⭐️ 44.7k
  • Tags: crawler scraper data-collection visualization rpa
  • 最后活动时间: 2026-10-19

Understand-Anything ​

将任意代码库转换为交互式知识图谱,支持探索、搜索和问答,帮助开发者快速理解复杂代码结构。

  • Stars: ⭐️ 42.9k
  • Tags: Knowledge Graph Code Analysis Claude Code
  • 最后活动时间: 2026-05-26

marker ​

高精度将PDF快速转换为Markdown和JSON格式的工具。非常适合用于AI数据处理和RAG知识库构建。

  • Stars: ⭐️ 40.6k
  • Tags: pdf markdown data-parser rag
  • 最后活动时间: 2026-10-22

polars ​

极速 DataFrame 查询引擎,为 AI/ML 数据处理管道提供高性能数据操作能力。

  • Stars: ⭐️ 40.2k
  • Tags: dataframe data-processing rust python
  • 最后活动时间: 2026-10-25

Scrapegraph-ai ​

基于AI的Python网页爬虫工具,结合LLM实现智能数据提取,支持RAG工作流和Markdown输出。

  • Stars: ⭐️ 32.2k
  • Tags: AI爬虫 数据提取 RAG Web Scraping
  • 最后活动时间: 2026-10-06

opendataloader-pdf ​

面向AI应用的PDF解析工具,自动生成AI就绪数据,支持PDF无障碍访问与多格式转换。

  • Stars: ⭐️ 30.0k
  • Tags: PDF解析 RAG 文档处理
  • 最后活动时间: 2026-10-26

crawlee ​

强大的Node.js网页爬取和浏览器自动化库,专为AI/LLM/RAG数据采集设计,支持多种格式下载。

  • Stars: ⭐️ 26.3k
  • Tags: Web Scraping Data Extraction RAG
  • 最后活动时间: 2026-10-25

colly ​

优雅高效的 Go 网络爬虫框架,可快速构建高性能数据采集管道,是获取 AI 训练语料与 RAG 数据源的实用工具。

  • Stars: ⭐️ 25.6k
  • Tags: crawler scraping golang data-collection spider
  • 最后活动时间: 2026-10-16

anydoc ​

基于Rust构建的高性能文档转换工具,支持将Word、PPT、Excel、PDF等多种格式转换为干净的Markdown。提供Node.js和Python绑定,非常适合用于RAG系统的数据预处理。

  • Stars: ⭐️ 23.1k
  • Tags: document-conversion markdown rag data-parsing rust
  • 最后活动时间: 2026-10-23

cube ​

开源语义层工具,为AI应用和BI系统提供统一的数据语义定义,助力构建数据驱动的智能分析系统。

  • Stars: ⭐️ 21.1k
  • Tags: 语义层 数据分析 BI
  • 最后活动时间: 2026-10-25

pdf-inspector ​

高性能PDF检测与文本提取库,智能识别扫描版与文本型PDF并自动路由,适用于RAG系统的文档预处理流程。

  • Stars: ⭐️ 19.7k
  • Tags: pdf-extraction ocr-routing pdf-classification rust
  • 最后活动时间: 2026-10-22

katana ​

高性能爬虫与站点遍历框架,可用于采集和解析网页数据,为RAG知识库构建提供数据获取能力。

  • Stars: ⭐️ 17.7k
  • Tags: crawler spider web-scraping data-collection
  • 最后活动时间: 2026-10-22

analysis-ik ​

IK中文分词器,集成Lucene IK分析器到Elasticsearch和OpenSearch,支持自定义词典,是构建中文搜索和RAG系统的必备工具。

  • Stars: ⭐️ 17.5k
  • Tags: elasticsearch opensearch nlp chinese-segmentation analyzer
  • 最后活动时间: 2026-06-30

presto ​

分布式SQL查询引擎,专为大数据分析设计,可高效处理PB级数据查询,为AI/ML数据预处理提供强大支持。

  • Stars: ⭐️ 16.8k
  • Tags: big-data sql query-engine data-analytics lakehouse
  • 最后活动时间: 2026-10-24

pglite ​

可嵌入式Postgres运行时,适合浏览器端AI应用的数据存储需求。轻量且便于集成。

  • Stars: ⭐️ 16.2k
  • Tags: postgres wasm database
  • 最后活动时间: 2026-10-21

unstructured ​

开源ETL解决方案,将复杂文档转换为结构化数据,专为语言模型优化,支持PDF、Word等多种格式解析。

  • Stars: ⭐️ 15.6k
  • Tags: Document Parsing ETL LLM NLP
  • 最后活动时间: 2026-10-25

newspaper ​

Python新闻文章全文与元数据提取库,支持多语言新闻抓取,适用于RAG系统的数据预处理管道。

  • Stars: ⭐️ 15.2k
  • Tags: news-extraction web-scraping nlp rag
  • 最后活动时间: 2026-10-19

liteparse ​

快速、开源的文档解析器,支持PDF、OCR识别和文本提取,适用于RAG和文档处理场景。

  • Stars: ⭐️ 12.9k
  • Tags: OCR PDF解析 文档处理
  • 最后活动时间: 2026-10-24

datahub ​

面向数据和AI技术栈的元数据管理平台,提供数据发现、数据治理和数据目录功能,助力企业构建现代化的数据基础设施。

  • Stars: ⭐️ 12.9k
  • Tags: data-catalog metadata data-governance data-discovery
  • 最后活动时间: 2026-10-17

reader ​

将任意URL转换为LLM友好的输入格式,通过简单的前缀https://r.jina.ai/即可获取网页内容,非常适合RAG应用和LLM数据处理。

  • Stars: ⭐️ 12.2k
  • Tags: LLM Web Scraping RAG
  • 最后活动时间: 2026-05-22

OpenRefine ​

强大的开源数据清洗工具,帮助处理杂乱数据并提升数据质量。

  • Stars: ⭐️ 12.1k
  • Tags: data-cleaning data-wrangling open-source data-quality etl
  • 最后活动时间: 2026-10-23

great_expectations ​

强大的数据质量与数据剖析工具,帮助团队验证和记录数据。为机器学习和数据管道提供可靠的数据测试基础。

  • Stars: ⭐️ 11.9k
  • Tags: data-quality data-profiling data-engineering data-science mlops
  • 最后活动时间: 2026-10-22

cocoindex ​

高性能AI数据转换框架,支持增量处理和实时索引,专为RAG、知识图谱和语义搜索场景设计。

  • Stars: ⭐️ 11.8k
  • Tags: 数据处理 ETL 实时索引
  • 最后活动时间: 2026-10-25

great_expectations ​

数据质量测试和验证框架,帮助ML团队确保数据管道的可靠性和一致性。

  • Stars: ⭐️ 11.6k
  • Tags: data-quality data-testing mlops pipeline
  • 最后活动时间: 2026-06-11

PyMuPDF ​

高性能PDF文档处理库,支持数据提取、OCR识别、表格提取等功能,适用于RAG系统的文档解析场景。

  • Stars: ⭐️ 11.0k
  • Tags: PDF OCR Data Extraction
  • 最后活动时间: 2026-10-25

pdfplumber ​

一个强大的PDF解析库,能够精准提取PDF中的文本、表格及字符坐标等详细信息。它是构建RAG和文档处理AI应用时不可或缺的数据解析工具。

  • Stars: ⭐️ 10.8k
  • Tags: pdf pdf-parsing table-extraction rag data-parsing
  • 最后活动时间: 2026-10-15

pypdf ​

一个纯Python的PDF库,支持PDF文件的拆分、合并、裁剪和转换。常用于AI数据处理流程中的文档解析。

  • Stars: ⭐️ 10.3k
  • Tags: pdf pdf-parser pdf-parsing python document-processing
  • 最后活动时间: 2026-10-25

wechatDownload ​

微信公众号文章批量下载工具,支持评论、合集下载,可保存为多种格式。支持MCP/Skill调用,便于AI应用集成。

  • Stars: ⭐️ 9.8k
  • Tags: wechat downloader mcp data-parser
  • 最后活动时间: 2026-10-07

defuddle ​

从任意网页中智能提取正文内容并转换为干净的 Markdown,是构建 RAG 知识库和 LLM 数据管道的理想网页解析工具。支持 CLI 调用,轻量高效。

  • Stars: ⭐️ 9.8k
  • Tags: web-scraping markdown content-extraction rag cli readability
  • 最后活动时间: 2026-10-25

SeaTunnel ​

Apache基金会的高性能分布式数据集成工具,支持实时和批量数据处理。可处理多模态数据、嵌入向量及LLM相关数据管道,是构建AI数据基础设施的重要组件。

  • Stars: ⭐️ 9.8k
  • Tags: Data Integration ETL Apache Real-time LLM Data
  • 最后活动时间: 2026-10-26

crawlee-python ​

强大的Python网页爬取和浏览器自动化库,专为AI、LLM、RAG应用设计,支持多种数据提取工具。

  • Stars: ⭐️ 9.6k
  • Tags: 网页爬取 数据采集 RAG 自动化
  • 最后活动时间: 2026-10-21

datafusion ​

Apache DataFusion 是高性能的 SQL 查询引擎,专为大数据分析和 ML 数据管道设计,支持 DataFrame API 和 SQL 查询。

  • Stars: ⭐️ 9.5k
  • Tags: query-engine dataframe sql big-data rust
  • 最后活动时间: 2026-10-26

xberg ​

一个多语言文档智能解析框架,核心由Rust编写。支持从PDF、Office文档及97+种格式中提取文本、元数据和结构化信息,完美适配RAG场景。

  • Stars: ⭐️ 9.4k
  • Tags: document-intelligence pdf-extraction rag text-extraction rust
  • 最后活动时间: 2026-10-26

google-images-download ​

Python脚本用于从Google Images批量下载图片,支持多种过滤条件。适合构建AI训练用的图像数据集。

  • Stars: ⭐️ 8.7k
  • Tags: image-dataset web-scraping data-collection python
  • 最后活动时间: 2026-05-18

youtube-transcript-api ​

Python API工具,用于获取YouTube视频的字幕和转录文本,无需API密钥即可使用。

  • Stars: ⭐️ 8.5k
  • Tags: YouTube Transcript Data-Extraction Python
  • 最后活动时间: 2026-10-20

kreuzberg ​

基于Rust核心的多语言文档智能框架,支持88+种格式提取文本和元数据,提供多语言SDK及多种接口。

  • Stars: ⭐️ 8.5k
  • Tags: 文档解析 RAG Rust 多语言SDK
  • 最后活动时间: 2026-06-12

megaparse ​

专为 LLM 摄取优化的文件解析器,可将 PDF、Docx、PPTx 等文档无损转换为最适合大语言模型处理的格式。是构建 RAG 管道和数据预处理流程的实用工具。

  • Stars: ⭐️ 7.4k
  • Tags: LLM PDF Document Parsing RAG Data Ingestion
  • 最后活动时间: 2026-10-15

unstract ​

基于LLM的非结构化数据提取平台,支持API部署与ETL管道,高效转换文档为结构化输出。

  • Stars: ⭐️ 7.3k
  • Tags: Data Extraction Document Processing LLM
  • 最后活动时间: 2026-10-26

trafilatura ​

强大的网页文本提取工具,支持从网页中提取干净文本和元数据,非常适合构建RAG数据管道和NLP语料库。

  • Stars: ⭐️ 7.0k
  • Tags: 网页抓取 文本提取 RAG NLP
  • 最后活动时间: 2026-10-23

llm-scraper ​

利用LLM将任意网页转换为结构化数据,支持Playwright和Puppeteer浏览器自动化。

  • Stars: ⭐️ 6.9k
  • Tags: Scraper LLM Browser Data
  • 最后活动时间: 2026-10-21

MonkeyOCR ​

轻量级大模型文档解析工具,基于LMM实现高效准确的文档内容提取与结构化。

  • Stars: ⭐️ 6.6k
  • Tags: OCR Document Parsing LMM
  • 最后活动时间: 2026-07-20

pdf-craft ​

PDF智能转换工具,专注于扫描书籍PDF的处理与格式转换,集成OCR能力。

  • Stars: ⭐️ 6.4k
  • Tags: pdf ocr document-processing deepseek-ocr
  • 最后活动时间: 2026-10-25

cli ​

Bright Data 官方命令行工具,可在终端中直接抓取、搜索并提取结构化网页数据。是构建 AI 数据管道与 RAG 语料采集的实用利器。

  • Stars: ⭐️ 6.2k
  • Tags: web-scraping cli data-extraction brightdata data-collection
  • 最后活动时间: 2026-10-13

dlt ​

开源Python数据加载工具,简化数据从各种来源加载到数据湖/数据仓库的过程。适用于AI数据管道构建。

  • Stars: ⭐️ 6.0k
  • Tags: data-engineering elt data-loading python
  • 最后活动时间: 2026-10-24

botasaurus ​

一体化Python数据抓取框架,内置反检测浏览器与请求调度,可轻松绕过Cloudflare等反爬机制。是构建LLM数据采集与RAG数据管线的利器。

  • Stars: ⭐️ 5.8k
  • Tags: web-scraping scraping-framework anti-detect python data-collection automation
  • 最后活动时间: 2026-07-26

lakeFS ​

数据湖版本控制工具,类似Git的数据管理方案。支持S3、Azure等存储后端,为机器学习管道提供数据版本管理和质量保证。

  • Stars: ⭐️ 5.6k
  • Tags: data-versioning data-lake ml-pipeline storage
  • 最后活动时间: 2026-10-21

sparrow ​

基于ML和LLM的结构化数据提取工具,支持视觉语言模型进行文档解析与指令调用。

  • Stars: ⭐️ 5.2k
  • Tags: 数据提取 Vision LLM RAG
  • 最后活动时间: 2026-10-08

grobid ​

基于机器学习的学术文献信息提取工具,可解析PDF论文并提取结构化元数据。

  • Stars: ⭐️ 5.2k
  • Tags: Document Parsing ML Extraction Academic
  • 最后活动时间: 2026-10-25

age ​

PostgreSQL图数据库扩展,适合知识图谱和关系数据分析场景。可作为RAG底层知识存储组件。

  • Stars: ⭐️ 4.9k
  • Tags: graph-database postgresql knowledge-graph
  • 最后活动时间: 2026-10-13

chonkie ​

一个轻量级的文档分块库,专为快速、高效和稳健的RAG管道设计。它提供多种语义分块和切分算法,优化大语言模型的检索系统性能。

  • Stars: ⭐️ 4.8k
  • Tags: rag chunker text-splitter llms semantic-chunker
  • 最后活动时间: 2026-10-20

textract ​

强大的文档文本提取工具,支持PDF、Word、图片等多种格式,简化文档数据解析流程。

  • Stars: ⭐️ 4.7k
  • Tags: text-extraction document-processing nlp
  • 最后活动时间: 2026-10-10

kaitai_struct ​

声明式二进制格式解析工具,可生成多语言解析器。适合构建数据摄取与RAG预处理流程。

  • Stars: ⭐️ 4.7k
  • Tags: binary-parsing data-parser code-generation
  • 最后活动时间: 2026-10-19

llama_cloud_services ​

LlamaIndex云端知识代理与管理平台,提供强大的文档解析能力,支持PDF、PPT等多种格式转换为结构化数据。

  • Stars: ⭐️ 4.3k
  • Tags: Document Parsing Knowledge Management Cloud
  • 最后活动时间: 2026-05-18

xarray ​

N维标签化数组与数据集Python库,为科学计算和机器学习提供强大的多维数据处理能力。

  • Stars: ⭐️ 4.2k
  • Tags: numpy pandas dask netcdf python
  • 最后活动时间: 2026-10-24

RapidFuzz ​

高性能模糊字符串匹配库,支持多种字符串相似度算法。适用于NLP数据预处理、实体解析和RAG检索增强场景。

  • Stars: ⭐️ 4.2k
  • Tags: string-matching levenshtein fuzzy-search nlp
  • 最后活动时间: 2026-10-21

chunkr ​

将复杂文档转换为RAG/LLM可用数据的视觉基础设施工具。

  • Stars: ⭐️ 4.1k
  • Tags: rag document-processing llm data-pipeline
  • 最后活动时间: 2026-09-09

tika ​

Apache Tika工具包,支持从上千种文件格式中检测和提取元数据与文本,适用于RAG数据预处理。

  • Stars: ⭐️ 4.1k
  • Tags: content-extraction metadata document-processing apache java
  • 最后活动时间: 2026-10-25

anakin ​

开源的网页抓取API,能将任意网站转换为干净的Markdown或结构化JSON。具备反检测浏览器、代理自动选择和自托管功能,非常适合为AI应用提供数据解析支持。

  • Stars: ⭐️ 3.9k
  • Tags: ai scraper markdown web-scraping self-hosted
  • 最后活动时间: 2026-08-18

JioNLP ​

准确、高效、易用的中文NLP预处理与解析工具包,支持时间解析、文本清洗等。

  • Stars: ⭐️ 3.9k
  • Tags: NLP Preprocessing Parser
  • 最后活动时间: 2026-10-16

camelot ​

从PDF文档中提取表格数据的Python库,支持多种解析模式,适用于RAG系统的数据预处理流程。

  • Stars: ⭐️ 3.8k
  • Tags: pdf table-extraction data-parsing python
  • 最后活动时间: 2026-10-14

html-to-markdown ​

高性能的 HTML 转 Markdown 转换工具,支持整站转换与自定义规则扩展。是构建 RAG 数据管道和 LLM 语料预处理的实用利器。

  • Stars: ⭐️ 3.8k
  • Tags: html-to-markdown converter golang data-parsing rag cli
  • 最后活动时间: 2026-08-03

qsv ​

超高速数据清洗工具包,支持CSV、Excel、Parquet等格式处理,适用于AI数据管道预处理。

  • Stars: ⭐️ 3.8k
  • Tags: csv data-engineering data-wrangling parquet ai
  • 最后活动时间: 2026-10-25

knowhere ​

为AI智能体和RAG应用提供数据提取与解析服务,输出结构化数据块。支持多种向量数据库和LLM后端。

  • Stars: ⭐️ 3.8k
  • Tags: rag ai-agents data-parsing vector-database
  • 最后活动时间: 2026-10-24

arrow-rs ​

Apache Arrow官方Rust实现,提供高性能列式内存格式,是AI/ML数据处理和向量数据库的核心基础设施。

  • Stars: ⭐️ 3.6k
  • Tags: arrow parquet data-processing columnar-format
  • 最后活动时间: 2026-10-21

AnyCrawl ​

高性能Node.js爬虫框架,专为LLM应用优化的数据提取工具。支持将网站内容转换为LLM就绪格式,并提供SERP结构化数据提取能力。

  • Stars: ⭐️ 3.5k
  • Tags: Web Crawler LLM Data RAG SERP
  • 最后活动时间: 2026-09-29

differential-privacy ​

Google开源的差分隐私库,提供保护用户数据隐私的算法和工具。适用于AI数据预处理与安全发布场景。

  • Stars: ⭐️ 3.4k
  • Tags: differential-privacy data-anonymization privacy google
  • 最后活动时间: 2026-10-23

vortex ​

一个可扩展的现代化列式文件格式,专为高效存储和处理多模态AI数据而设计,支持高级压缩和快速查询。

  • Stars: ⭐️ 3.3k
  • Tags: columnar file-format multimodal rust arrow
  • 最后活动时间: 2026-10-26

deepdoctection ​

强大的文档AI工具包,集成OCR、布局分析、表格识别等功能,支持多种深度学习框架。

  • Stars: ⭐️ 3.3k
  • Tags: Document AI OCR Table Recognition
  • 最后活动时间: 2026-10-21

datatrove ​

提供平台无关且可定制的数据处理流水线模块,旨在从脚本管理的疯狂中解放数据处理任务。非常适合用于大规模AI模型的数据清洗与预处理。

  • Stars: ⭐️ 3.3k
  • Tags: data-processing pipeline data-parsers machine-learning
  • 最后活动时间: 2026-08-07

AI-reads-books-page-by-page ​

一款智能PDF知识提取与总结工具,支持逐页分析PDF书籍并提取关键知识点。可按指定间隔生成渐进式摘要,极大提升长文档阅读效率。

  • Stars: ⭐️ 3.2k
  • Tags: pdf summarization knowledge-extraction ai
  • 最后活动时间: 2026-06-27

open-parse ​

专为LLM优化的文档解析工具,提供改进的文件解析能力,支持文档结构分析和表格检测。

  • Stars: ⭐️ 3.1k
  • Tags: Document Parsing LLM Table Detection
  • 最后活动时间: 2026-05-17

JinaClip ​

一款本地优先的浏览器扩展,可在浏览器运行时内将任意网页转换为高保真、对 LLM 友好的 Markdown。零云端、注重隐私,专为 AI 工作流打造。

  • Stars: ⭐️ 3.0k
  • Tags: LLM Markdown-Converter Browser-Extension Web-Scraper AI-Workflows Data-Parsing
  • 最后活动时间: 2026-06-30

Wikipedia ​

Python风格的Wikipedia API封装库,便于AI应用获取百科知识数据,可用于RAG系统和知识检索。

  • Stars: ⭐️ 3.0k
  • Tags: wikipedia api-wrapper python knowledge-base
  • 最后活动时间: 2026-09-28

llm_aided_ocr ​

利用LLM增强Tesseract OCR输出,支持错误纠正、智能分块和Markdown格式化。

  • Stars: ⭐️ 3.0k
  • Tags: OCR PDF处理 LLM
  • 最后活动时间: 2026-10-14

twscrape ​

支持授权的Twitter/X数据采集工具,可抓取搜索结果、用户资料、推文互动等,适合构建社交媒体AI训练数据集。

  • Stars: ⭐️ 2.9k
  • Tags: twitter scraper data-collection social-media api
  • 最后活动时间: 2026-10-21

cppjieba ​

高性能中文分词库C++实现,支持多种分词模式,是中文NLP文本处理的基础工具。

  • Stars: ⭐️ 2.9k
  • Tags: nlp chinese-segmentation text-processing cpp jieba
  • 最后活动时间: 2026-10-19

slackdump ​

Slack消息导出工具,支持导出私聊、频道、文件和用户数据,并提供MCP服务器接口,便于AI应用集成和数据分析。

  • Stars: ⭐️ 2.8k
  • Tags: slack mcp-server data-export backup
  • 最后活动时间: 2026-10-24

datachain ​

多模态数据分析与ETL工具,支持视频、音频、PDF和图像的版本管理与嵌入处理。

  • Stars: ⭐️ 2.8k
  • Tags: Multimodal ETL LLM
  • 最后活动时间: 2026-10-26

spider ​

高性能Rust网络爬虫和抓取工具,支持无头浏览器,为AI应用提供数据采集能力。

  • Stars: ⭐️ 2.8k
  • Tags: ai-agent crawler web-scraping spider
  • 最后活动时间: 2026-10-23

kordoc ​

支持多种文档格式(HWP、HWPX、PDF、XLSX、DOCX)转换为Markdown的解析工具,提供CLI和MCP服务器接口,适合RAG应用场景。

  • Stars: ⭐️ 2.8k
  • Tags: document-parser mcp pdf docx markdown
  • 最后活动时间: 2026-10-26

meltano ​

声明式数据集成引擎,简化ML应用的数据管道构建与API集成。

  • Stars: ⭐️ 2.7k
  • Tags: data-integration elt data-pipelines dataops open-source
  • 最后活动时间: 2026-10-20

retain-pdf ​

保留版面结构的PDF翻译工具,支持科研与技术文档的智能翻译,集成OCR与文档AI能力。

  • Stars: ⭐️ 2.7k
  • Tags: document-ai pdf-translation ocr document-processing
  • 最后活动时间: 2026-10-25

gojieba ​

结巴中文分词的Golang实现,支持多种分词模式,是中文NLP文本预处理的常用工具。

  • Stars: ⭐️ 2.6k
  • Tags: nlp chinese-segmentation text-processing golang
  • 最后活动时间: 2026-07-20

PdfPig ​

用C#编写的PDF内容提取库,支持文本读取和页面布局分析。非常适合作为RAG系统中的文档解析组件。

  • Stars: ⭐️ 2.6k
  • Tags: csharp pdf text-extraction document-analysis layout-analysis
  • 最后活动时间: 2026-10-20

awesome-duckdb ​

DuckDB资源精选列表,适用于AI数据管道和分析型数据库场景。

  • Stars: ⭐️ 2.5k
  • Tags: duckdb database data-analytics sql
  • 最后活动时间: 2026-10-22

快速、准确且可扩展的概率数据链接工具,支持多种SQL后端,用于实体解析和去重。

  • Stars: ⭐️ 2.5k
  • Tags: entity-resolution record-linkage deduplication data-matching
  • 最后活动时间: 2026-10-21

ossie ​

开源语义元数据规范,为分析、AI 与 BI 平台提供厂商中立的统一语义数据交换标准。

  • Stars: ⭐️ 2.5k
  • Tags: Semantic-Metadata AI Analytics Specification
  • 最后活动时间: 2026-10-18

ade-cli ​

LandingAI 推出的官方命令行工具,用于智能文档提取(ADE)。能够从终端直接解析文档并提取符合特定数据结构的信息。

  • Stars: ⭐️ 2.4k
  • Tags: agentic-document-extraction cli document-extraction ocr pdf
  • 最后活动时间: 2026-10-24

webclaw ​

专为LLM设计的本地优先网页内容提取工具,支持爬取、结构化数据提取,提供CLI、REST API和MCP服务器。

  • Stars: ⭐️ 2.4k
  • Tags: web-scraping llm rag mcp-server data-extraction
  • 最后活动时间: 2026-10-23

markpdfdown ​

基于大模型视觉识别的高质量PDF转Markdown工具,支持复杂排版。

  • Stars: ⭐️ 2.3k
  • Tags: pdf markdown llm pdf-converter
  • 最后活动时间: 2026-09-23

DocLayout-YOLO ​

基于YOLO的文档布局分析模型,通过合成数据增强实现高精度文档结构识别。

  • Stars: ⭐️ 2.3k
  • Tags: document-layout-analysis yolo object-detection deep-learning
  • 最后活动时间: 2026-10-21

pymupdf4llm ​

专为LLM优化的PDF解析库,基于PyMuPDF提供高效的文档提取能力。

  • Stars: ⭐️ 2.3k
  • Tags: pdf parsing llm rag
  • 最后活动时间: 2026-10-19

invoice2data ​

从PDF发票中提取结构化数据的Python工具,可自动解析发票字段。适合文档数据抽取与RAG数据预处理场景。

  • Stars: ⭐️ 2.2k
  • Tags: pdf-parsing data-extraction python
  • 最后活动时间: 2026-10-21

MarginaliaSearch ​

一个面向文本网站的独立互联网搜索引擎,专注于索引小众、老旧而独特的网页。融合语言处理、网络爬虫与索引技术,支持自托管,是检索与信息抽取领域的优质开源实践。

  • Stars: ⭐️ 2.2k
  • Tags: search-engine web-crawler language-processing indexer self-hosted
  • 最后活动时间: 2026-10-09

WaterCrawl ​

将网页内容转换为LLM就绪数据的爬虫工具,支持HTML转Markdown。

  • Stars: ⭐️ 2.2k
  • Tags: crawler scraper llm html2markdown web-scraping
  • 最后活动时间: 2026-08-17

markdowner ​

快速将任意网站转换为LLM可用的Markdown格式数据,专为AI应用优化。

  • Stars: ⭐️ 2.0k
  • Tags: markdown web-scraper llm data-conversion
  • 最后活动时间: 2026-10-02

onefilellm ​

将GitHub仓库、arXiv论文、YouTube字幕等多种来源内容抓取并整理为文本,便于LLM输入处理。

  • Stars: ⭐️ 2.0k
  • Tags: llm arxiv github pdf youtube-transcript
  • 最后活动时间: 2026-06-12

contextgem ​

专注于文档信息提取的LLM框架,支持从合同、报告等文档中提取结构化数据,适用于企业级文档智能处理场景。

  • Stars: ⭐️ 2.0k
  • Tags: LLM 文档提取 合同分析
  • 最后活动时间: 2026-10-25

docling-serve ​

将Docling文档解析库封装为API服务,支持AI驱动的文档理解和结构化提取,适用于RAG应用场景。

  • Stars: ⭐️ 1.9k
  • Tags: document-parsing rag api-service docling
  • 最后活动时间: 2026-10-20

GLiNER2 ​

基于统一模式的信息抽取工具,能够高效地从文本中提取结构化数据。

  • Stars: ⭐️ 1.7k
  • Tags: information-extraction nlp ner
  • 最后活动时间: 2026-07-28

arctic_shift ​

让Reddit数据对研究人员、版主和所有人开放访问。提供大规模数据转储、API和Web界面,适用于AI训练数据采集和RAG系统构建。

  • Stars: ⭐️ 1.7k
  • Tags: reddit data-api dataset data-access
  • 最后活动时间: 2026-10-11

tika-python ​

Apache Tika的Python绑定,提供文本提取和内容解析功能。支持多种文档格式的文本和元数据提取。

  • Stars: ⭐️ 1.7k
  • Tags: text-extraction document-parsing python
  • 最后活动时间: 2026-10-01

docling-api ​

高效文档转换服务,支持PDF、Word、PPT等多种格式转Markdown,具备OCR、表格提取和批量处理能力,适用于RAG和大模型文档处理场景。

  • Stars: ⭐️ 1.7k
  • Tags: Document Parsing OCR Markdown
  • 最后活动时间: 2026-08-04

ExtractThinker ​

LLM文档智能处理库,提供ORM风格的文档工作流,支持PDF解析和OCR。

  • Stars: ⭐️ 1.6k
  • Tags: Document Intelligence OCR PDF
  • 最后活动时间: 2026-09-16

DataProfiler ​

强大的数据剖析工具,可从数据集中提取模式、统计信息和实体,支持PII敏感数据检测和NLP实体识别。

  • Stars: ⭐️ 1.6k
  • Tags: data-profiling nlp entity-extraction pii-detection machine-learning
  • 最后活动时间: 2026-09-14

olake ​

高性能数据摄取工具,支持将 Postgres、MongoDB、MySQL、Kafka、S3 等数据源通过 CDC 实时复制到 Apache Iceberg 湖仓,并提供 OLake Fusion 表优化能力。为实时分析与 AI 数据管道提供高效、可扩展的数据同步方案。

  • Stars: ⭐️ 1.6k
  • Tags: data-pipeline cdc apache-iceberg data-ingestion kafka lakehouse
  • 最后活动时间: 2026-10-23

thepipe ​

基于视觉语言模型的文档数据提取工具,支持从PDF、网页等复杂文档中提取结构化数据,为RAG应用提供高质量数据预处理管道。

  • Stars: ⭐️ 1.5k
  • Tags: 文档提取 多模态 RAG
  • 最后活动时间: 2026-09-28

OpenContracts ​

人机协作的知识库构建平台,支持文档标注、版本控制、语义搜索和MCP协议。

  • Stars: ⭐️ 1.5k
  • Tags: 文档标注 知识库 MCP
  • 最后活动时间: 2026-10-22

fastctx ​

为AI智能体提供快速且上下文高效的代码仓库解析工具,支持MCP协议。帮助开发者更好地提取和喂入代码上下文给大模型。

  • Stars: ⭐️ 1.5k
  • Tags: mcp context ai-agents code-parsing
  • 最后活动时间: 2026-10-22

openserp ​

开源SERP API,支持Google、Bing、百度等搜索引擎,专为AI应用和SEO自动化设计。

  • Stars: ⭐️ 1.5k
  • Tags: serp-api web-scraping search-engine seo
  • 最后活动时间: 2026-10-19

prince ​

Python多变量探索性数据分析库,支持PCA、CA、MCA等降维方法。适用于AI特征工程和数据预处理。

  • Stars: ⭐️ 1.5k
  • Tags: pca factor-analysis scikit-learn data-analysis
  • 最后活动时间: 2026-10-24

OpenOCR ​

开源OCR工具包,集成统一训练评估基准和商业级文档解析系统,支持场景文本检测与识别。

  • Stars: ⭐️ 1.5k
  • Tags: OCR 文档解析 PyTorch
  • 最后活动时间: 2026-09-21

odd-platform ​

开源数据发现与可观测性平台,帮助数据从业者管理数据血缘和质量。

  • Stars: ⭐️ 1.4k
  • Tags: data-discovery data-observability data-lineage
  • 最后活动时间: 2026-10-19

tis ​

基于 Flink、DataX 和 Flink-CDC 的敏捷本体数据操作(DataOps)平台,提供可视化 Web-UI。集成 ChatBI 智能问数能力,帮助企业快速构建数据管道并实现 AI 驱动的数据分析。

  • Stars: ⭐️ 1.4k
  • Tags: DataOps Flink ETL ChatBI CDC Data-Integration
  • 最后活动时间: 2026-10-24

amphi-etl ​

Python驱动的可视化数据准备工具,支持结构化与非结构化数据ETL。

  • Stars: ⭐️ 1.4k
  • Tags: etl data-pipelines data-preparation
  • 最后活动时间: 2026-08-24

sirchmunk ​

将原始数据实时转化为自我进化的智能系统,构建持续学习的数据智能管道。适合需要实时数据摄取与智能提炼的场景。

  • Stars: ⭐️ 1.4k
  • Tags: real-time data-pipeline self-evolving intelligence data-processing
  • 最后活动时间: 2026-09-21

quilt ​

AWS上的科学数据管理平台,帮助团队和AI系统高效发现、信任和复用版本化数据包。

  • Stars: ⭐️ 1.4k
  • Tags: data-management data-versioning aws ai-data
  • 最后活动时间: 2026-10-20

pdf-document-layout-analysis ​

基于Docker的PDF文档布局分析服务,可识别文本、标题、图片、表格等元素,适用于RAG文档预处理。

  • Stars: ⭐️ 1.4k
  • Tags: pdf document-analysis layout-analysis ocr
  • 最后活动时间: 2026-10-06

saiku ​

开源语义层项目,为Excel、仪表盘和AI智能体提供统一的OLAP多维数据集支持。结合Mondrian与Apache Calcite,实现高效的MDX/XMLA查询与MCP集成。

  • Stars: ⭐️ 1.3k
  • Tags: analytics business-intelligence olap semantic-layer mcp
  • 最后活动时间: 2026-10-18

markit ​

将任意文档快速转换为干净规范的 Markdown,是构建 LLM 知识库和 RAG 数据管道的实用解析工具。

  • Stars: ⭐️ 1.3k
  • Tags: markdown document-conversion data-parsing rag etl
  • 最后活动时间: 2026-08-17

commonforms ​

利用开放模型自动检测 PDF 中的表单字段(如文本框、复选框),将静态 PDF 转化为可交互文档。为文档智能化与自动化处理提供了开箱即用的 AI 能力。

  • Stars: ⭐️ 1.3k
  • Tags: PDF Document-AI Form-Field-Detection Machine-Learning Open-Models
  • 最后活动时间: 2026-06-17

WhatsApp-Chat-Exporter ​

可解析WhatsApp数据库并导出结构化HTML或JSON数据。适合作为聊天数据整理与RAG数据预处理工具。

  • Stars: ⭐️ 1.3k
  • Tags: WhatsApp Parser DataExport JSON
  • 最后活动时间: 2026-10-25

unpdf ​

跨所有 JavaScript 运行时的 PDF 文本提取与渲染工具,内置 pdf.js 且对 Serverless 环境友好。适合在 Node/Edge 环境中构建文档解析与 RAG 数据摄取流程。

  • Stars: ⭐️ 1.3k
  • Tags: pdf pdfjs text-extraction serverless javascript
  • 最后活动时间: 2026-10-19

wiktextract ​

一个强大的维基词典转储文件解析器,能够从多语言维基文本中提取结构化数据。非常适合为AI和自然语言处理应用构建高质量的词典数据集。

  • Stars: ⭐️ 1.2k
  • Tags: wiktionary parser data-extractor nlp dictionary
  • 最后活动时间: 2026-07-22

taiwan-md ​

关于台湾的开源AI友好知识库,为AI系统提供结构化的台湾相关知识数据。

  • Stars: ⭐️ 1.2k
  • Tags: knowledge-base ai-friendly taiwan
  • 最后活动时间: 2026-10-22

gget ​

高效查询基因组参考数据库的命令行工具,支持AlphaFold和NCBI等。为生物信息学和蛋白质组学研究提供强大的数据检索能力。

  • Stars: ⭐️ 1.2k
  • Tags: genomics alphafold bioinformatics database
  • 最后活动时间: 2026-10-19

Oxen ​

专为机器学习数据集设计的快速版本控制系统,支持结构化和非结构化数据。

  • Stars: ⭐️ 1.2k
  • Tags: data-version-control machine-learning datasets rust
  • 最后活动时间: 2026-10-22

wechat-download-api ​

完全开源的微信公众号文章获取与RSS订阅API服务,支持IP代理池反风控。可无缝接入MCP以支持各类AI Agent工具调用。

  • Stars: ⭐️ 1.2k
  • Tags: ai-agent mcp rss wechat api
  • 最后活动时间: 2026-07-27

lift ​

利用 AI 和 OCR 技术从文档中快速准确地提取结构化数据。支持 PDF 等格式,适合数据自动化处理场景。

  • Stars: ⭐️ 1.2k
  • Tags: ai ocr pdf extract python
  • 最后活动时间: 2026-10-22

DataInfra-RedactionEverything ​

利用本地大语言模型和视觉语言模型实现全面的数据脱敏工具。它能够高效处理并隐藏敏感信息,保障数据基础设施中的隐私安全。

  • Stars: ⭐️ 1.2k
  • Tags: llms vlms data-redaction privacy local-ai
  • 最后活动时间: 2026-07-22

chatlog_alpha ​

微信数据库读取工具,提供MCP服务接口,可用于AI数据提取和RAG应用。

  • Stars: ⭐️ 1.1k
  • Tags: wechat mcp-server data-extraction
  • 最后活动时间: 2026-08-01

json-schema-ref-parser ​

解析与展开JSON Schema引用,适用于AI工具链和API规范处理。

  • Stars: ⭐️ 1.1k
  • Tags: JSONSchema OpenAPI Parser
  • 最后活动时间: 2026-10-11

pdf_oxide ​

极速PDF处理库,支持文本提取、图片提取、Markdown转换等功能,比行业领先方案快5倍,非常适合RAG场景。

  • Stars: ⭐️ 1.1k
  • Tags: pdf pdf-parser pdf-to-markdown rag text-extraction
  • 最后活动时间: 2026-10-20

ontogpt ​

基于 LLM 的本体知识抽取工具,支持命名实体识别和关系抽取等 NLP 任务。

  • Stars: ⭐️ 1.1k
  • Tags: Ontology NER LLM
  • 最后活动时间: 2026-09-10

crw ​

轻量级Rust网页抓取与搜索API,提供兼容Firecrawl的接口并内置MCP服务器。专为AI智能体设计,性能卓越且内存占用极低,支持自托管。

  • Stars: ⭐️ 1.1k
  • Tags: web-scraper mcp-server rust ai-agents data-extraction
  • 最后活动时间: 2026-09-21

anymd ​

anymd 是一个将任何文件转换为干净 Markdown 的工具,专为 AI 代理设计。支持 PDF、Word、PowerPoint 等多种格式,通过 Rust 构建的 MCP 服务器和 CLI 实现本地化,无需 API 密钥。

  • Stars: ⭐️ 1.1k
  • Tags: ai-agents document-parser markdown local-first rust
  • 最后活动时间: 2026-10-25

URS ​

功能全面的 Reddit 数据抓取与归档命令行工具,支持帖子、评论、直播等多种数据的批量采集与导出。适合用于构建语料数据集、OSINT 分析与数据科学场景。

  • Stars: ⭐️ 1.0k
  • Tags: reddit-scraper data-collection cli data-science python rust
  • 最后活动时间: 2026-07-11

ade-python ​

用于智能文档提取的Python库,支持AI驱动的文档解析与信息抽取。

  • Stars: ⭐️ 1.0k
  • Tags: document-extraction ai-agents python-library
  • 最后活动时间: 2026-09-22

mdream ​

GitHub上最快的HTML转Markdown转换器,专为LLM优化并支持流式处理。

  • Stars: ⭐️ 1.0k
  • Tags: html markdown llm streaming
  • 最后活动时间: 2026-10-22

Deedle ​

.NET 与 F# 生态的经典数据科学库,提供类似 Pandas 的 DataFrame 与时间序列操作能力。是数据清洗、特征准备和科学计算的理想基座。

  • Stars: ⭐️ 1.0k
  • Tags: DotNet FSharp DataFrame Time-Series Data-Manipulation
  • 最后活动时间: 2026-10-24

jonex ​

一体化多模态解析引擎,结合本体与 LLM Wiki 驱动的 AI 就绪知识引擎。

  • Stars: ⭐️ 1.0k
  • Tags: multimodal-parsing knowledge-engine ontology llm
  • 最后活动时间: 2026-09-04

ontop ​

Ontop 是一个虚拟知识图谱(VKG)平台,可将关系型数据库映射为 RDF 知识图谱并通过 SPARQL 查询,支持 OBDA 与 R2RML 标准。它是构建知识图谱与语义检索类 AI 应用的成熟开源方案。

  • Stars: ⭐️ 993
  • Tags: knowledge-graph sparql rdf obda data-integration
  • 最后活动时间: 2026-10-15

awkward ​

使用NumPy风格操作处理不规则JSON数据的库,支持嵌套和变长数据结构。广泛应用于AI数据预处理。

  • Stars: ⭐️ 988
  • Tags: jagged-array numpy data-analysis apache-arrow
  • 最后活动时间: 2026-10-25

x-reader ​

支持10+平台的通用内容读取MCP服务器,为RAG应用提供数据解析能力。

  • Stars: ⭐️ 977
  • Tags: mcp data-parser rag content-reader
  • 最后活动时间: 2026-10-25

extruct ​

用于从HTML标记中提取嵌入式元数据的Python库。支持JSON-LD、Microdata、Microformats等多种格式,非常适合作为RAG系统的数据解析组件。

  • Stars: ⭐️ 973
  • Tags: data-extraction json-ld microdata microformats opengraph rdfa semantic-web
  • 最后活动时间: 2026-09-27

neosemantics ​

Neo4j 的 RDF 导入导出插件,支持 SHACL 校验与模型映射,助力构建语义知识图谱。

  • Stars: ⭐️ 970
  • Tags: neo4j rdf knowledge-graph semantic-web shacl
  • 最后活动时间: 2026-10-09

data-prep-kit ​

开源GenAI数据准备工具包,提供数据清洗、去重、预处理等完整流水线支持。

  • Stars: ⭐️ 969
  • Tags: data-preparation llm data-processing finetuning
  • 最后活动时间: 2026-09-29

hyparquet ​

纯JavaScript实现的Parquet文件解析器,零依赖、可直接在浏览器中运行。Parquet是AI/ML数据集的主流存储格式,该项目让前端与Node环境都能轻松读取训练数据。

  • Stars: ⭐️ 966
  • Tags: parquet parser javascript snappy data-pipeline
  • 最后活动时间: 2026-10-19

binary-parser ​

高性能二进制解析器,可用于AI数据预处理和非结构化数据读取。声明式API易于集成。

  • Stars: ⭐️ 956
  • Tags: parser binary typescript data-processing
  • 最后活动时间: 2026-10-18

unstructured-api ​

Unstructured 的 API 服务,可将 PDF、HTML、Word 等非结构化文档解析为干净的结构化数据,是 RAG 数据预处理管道的核心工具。

  • Stars: ⭐️ 955
  • Tags: data-parsing rag document-processing etl
  • 最后活动时间: 2026-10-20

docling-graph ​

基于Docling将非结构化文档转换为经过验证、丰富且可查询的知识图谱。助力RAG与文档智能场景下的结构化知识提取。

  • Stars: ⭐️ 936
  • Tags: docling knowledge-graph document-processing rag
  • 最后活动时间: 2026-10-20

pdf-reader-mcp ​

生产级PDF处理MCP服务器,支持并行处理,速度提升5-10倍,测试覆盖率94%以上。

  • Stars: ⭐️ 935
  • Tags: MCP PDF Document Processing Parallel Processing
  • 最后活动时间: 2026-09-20

donsetch ​

专为 AI 智能体设计的网页抓取、搜索与爬虫工具,使用纯 Rust 从头构建。无需 API 密钥或账户,支持 PDF 解析与 MCP 协议。

  • Stars: ⭐️ 923
  • Tags: web-scraper ai-agents rust mcp web-search
  • 最后活动时间: 2026-10-21

zpdf ​

使用Zig编写的零拷贝PDF文本提取库,支持内存映射与SIMD加速。为AI数据处理提供高性能的文档解析能力。

  • Stars: ⭐️ 921
  • Tags: pdf text-extraction parser zig high-performance simd
  • 最后活动时间: 2026-08-13

TikHub-API-Python-SDK ​

高性能异步Python SDK,聚合抖音、TikTok、小红书、Instagram、YouTube等主流社媒平台的数据接口,并集成验证码求解与临时邮箱服务。是AI数据采集与多平台数据解析管道的理想数据源工具。

  • Stars: ⭐️ 920
  • Tags: API Data-Collection Crawler TikTok Douyin Python-SDK Async Web-Scraping
  • 最后活动时间: 2026-10-03

llms-txt-hub ​

最大的AI就绪文档目录,实现llms.txt标准,帮助LLM更好地理解和检索文档内容。

  • Stars: ⭐️ 916
  • Tags: llms-txt documentation RAG
  • 最后活动时间: 2026-10-22

indra ​

基于ONNX的极速CPU端OCR引擎,支持行检测、CTC识别、阅读顺序分析与Markdown输出。是文档理解与RAG数据解析管线的理想轻量级选择。

  • Stars: ⭐️ 916
  • Tags: OCR ONNX Document-Parsing CPU PDF Markdown
  • 最后活动时间: 2026-10-22

janome ​

纯Python编写的日文形态学分析引擎,无需外部依赖即可完成日文分词与词性标注,适合NLP与文本处理管道。

  • Stars: ⭐️ 914
  • Tags: japanese morphological-analysis nlp tokenizer
  • 最后活动时间: 2026-06-07

提取网页标题、摘要和媒体信息的工具库。适合作为RAG数据采集与内容预处理组件。

  • Stars: ⭐️ 911
  • Tags: opengraph web-scraping metadata typescript
  • 最后活动时间: 2026-10-14

dedao-dl ​

得到 APP 课程下载工具,支持生成 PDF、音频、Markdown 文稿,可结合 OpenClaw 技能使用。

  • Stars: ⭐️ 909
  • Tags: dedao content-downloader pdf-generator markdown
  • 最后活动时间: 2026-10-20

dataset-viewer ​

Hugging Face 数据集查看器的后端服务,提供公开 API 用于浏览和分析机器学习数据集。

  • Stars: ⭐️ 906
  • Tags: HuggingFace Datasets API
  • 最后活动时间: 2026-10-24

img2table ​

基于OpenCV的表格识别与提取库,支持从PDF和图片中提取表格数据。

  • Stars: ⭐️ 901
  • Tags: table-extraction ocr document-ai
  • 最后活动时间: 2026-07-12

deeptime ​

用于时间序列分析的Python库,支持降维、聚类和马尔可夫模型估计,适用于复杂系统动力学建模。

  • Stars: ⭐️ 893
  • Tags: time-series-analysis markov-model clustering machine-learning
  • 最后活动时间: 2026-10-16

html-to-markdown ​

高性能的 HTML 到 Markdown 转换器,适用于 RAG 场景下的文本提取与预处理。

  • Stars: ⭐️ 882
  • Tags: html-to-markdown text-extraction rag
  • 最后活动时间: 2026-10-22

node-tree-sitter ​

Tree-sitter的Node绑定,可用于代码解析、代码理解和AI代码工具。是代码RAG的重要基础组件。

  • Stars: ⭐️ 879
  • Tags: tree-sitter code-analysis parser nodejs
  • 最后活动时间: 2026-07-29

zhparser ​

基于 SCWS 的 PostgreSQL 中文全文检索扩展,提供高效的中文分词能力。是构建中文搜索引擎与 RAG 数据管道的实用基础设施。

  • Stars: ⭐️ 872
  • Tags: PostgreSQL Chinese-NLP Text-Segmentation Full-Text-Search Database-Extension
  • 最后活动时间: 2026-06-29

simple ​

支持中文与拼音的 SQLite fts5 分词器扩展,让轻量级数据库也能高效进行中文全文检索。适合嵌入本地应用与端侧搜索场景。

  • Stars: ⭐️ 872
  • Tags: SQLite Tokenizer Chinese-NLP Full-Text-Search Pinyin
  • 最后活动时间: 2026-05-17

markitdown ​

支持Java命令行和Python Web的双版本文档转Markdown工具,集成PaddleOCR实现智能文档解析。

  • Stars: ⭐️ 864
  • Tags: document-converter ocr markdown paddleocr
  • 最后活动时间: 2026-05-16

loaders.gl ​

面向大规模数据与3D地理数据的解析工具集,适合AI数据预处理与检索管道集成。

  • Stars: ⭐️ 854
  • Tags: DataParsing Geospatial Parquet Arrow
  • 最后活动时间: 2026-10-22

mineru-tianshu ​

企业级AI数据预处理平台,支持PDF/Office转Markdown、多模态信息提取,集成MCP协议AI助手。

  • Stars: ⭐️ 849
  • Tags: document-parsing mcp multimodal rag
  • 最后活动时间: 2026-10-16

pypdfium2 ​

Google PDFium 的高质量 Python 绑定库,支持跨平台的 PDF 渲染、文本提取与文档解析。作为众多 RAG 与文档 AI 管线的底层解析引擎,是文档数据摄取的可靠选择。

  • Stars: ⭐️ 841
  • Tags: pdf python pdfium document-parsing text-extraction
  • 最后活动时间: 2026-10-15

PrimeKG ​

精准医学知识图谱数据集,用于生物医学研究和药物发现。

  • Stars: ⭐️ 835
  • Tags: knowledge-graph biomedical precision-medicine
  • 最后活动时间: 2026-06-30

logai ​

开源的日志分析与智能库,专注于日志数据的异常检测和基准测试。利用机器学习技术提供强大的AIOps日志分析能力。

  • Stars: ⭐️ 822
  • Tags: ai aiops anomaly-detection log-analysis machine-learning
  • 最后活动时间: 2026-06-02

llama-scan ​

使用本地LLM转录PDF文档的工具,支持离线文档处理。

  • Stars: ⭐️ 807
  • Tags: llm pdf transcription local-llm
  • 最后活动时间: 2026-10-22

plantcv ​

利用计算机视觉和图像分析技术进行植物表型分析的强大工具包。广泛应用于农业生物信息学,帮助科研人员自动化提取植物特征数据。

  • Stars: ⭐️ 805
  • Tags: computer-vision image-analysis plant-phenotyping bioinformatics
  • 最后活动时间: 2026-07-17

sift-kg ​

将任意文档集合转化为知识图谱,通过 LLM 提取实体与关系并支持去重审批。为AI智能体提供持久化知识库。

  • Stars: ⭐️ 802
  • Tags: knowledge-graph llm entity-extraction rag
  • 最后活动时间: 2026-05-12

nibabel ​

访问多种神经影像文件格式的Python库,支持NIfTI、DICOM等格式。广泛应用于医学AI和脑影像分析领域。

  • Stars: ⭐️ 796
  • Tags: neuroimaging nifti dicom medical-imaging
  • 最后活动时间: 2026-10-16

Herbie ​

下载气象数值预测数据集的工具,支持HRRR、GFS等多种格式,适用于AI气象预测模型训练。

  • Stars: ⭐️ 794
  • Tags: weather dataset meteorology xarray
  • 最后活动时间: 2026-09-27

eeglab ​

一个用于处理脑电生理信号的开源信号处理环境,支持在Matlab和Octave上运行。提供丰富的EEG预处理、源定位和频谱分析功能。

  • Stars: ⭐️ 785
  • Tags: eeg biosignal signal-processing neurophysiology matlab
  • 最后活动时间: 2026-07-22

bayesian_changepoint_detection ​

基于贝叶斯推断的时间序列变点检测库,可计算序列在每个时点发生结构性突变的概率。适用于监控告警、金融行情与传感器数据的异常趋势分析。

  • Stars: ⭐️ 780
  • Tags: Bayesian-Inference Time-Series Change-Point-Detection Anomaly-Detection Machine-Learning
  • 最后活动时间: 2026-09-24

docling-mcp ​

通过 MCP 协议让 Docling 文档解析工具具备智能体能力,实现文档处理的自动化。

  • Stars: ⭐️ 776
  • Tags: mcp document-processing agent rag
  • 最后活动时间: 2026-10-21

datashare ​

自托管文档搜索引擎,支持命名实体识别(NER)和文本提取,适用于调查性新闻和数据挖掘场景。

  • Stars: ⭐️ 770
  • Tags: named-entity-recognition text-extraction elasticsearch search-engine
  • 最后活动时间: 2026-10-23

datavines ​

下一代数据可观测性平台,支持元数据管理和数据质量监控,为AI/ML数据管道提供可靠的数据质量保障。

  • Stars: ⭐️ 765
  • Tags: data-quality data-observability metadata data-engineering
  • 最后活动时间: 2026-07-27

html-to-markdown ​

高性能HTML转Markdown转换器,支持OCR和文档智能处理,适用于RAG数据预处理。

  • Stars: ⭐️ 765
  • Tags: html-converter markdown text-extraction rag
  • 最后活动时间: 2026-06-12

Wikipedia-API ​

Python Wikipedia API 封装库,方便获取维基百科内容,适用于 RAG 知识检索和数据采集场景。

  • Stars: ⭐️ 753
  • Tags: wikipedia api-wrapper data-retrieval python3
  • 最后活动时间: 2026-10-21

receipt-ocr ​

一款高效的收据图像 OCR 引擎,结合 LLM 与 Tesseract 实现精准的发票和收据文本提取。

  • Stars: ⭐️ 746
  • Tags: ocr llm python tesseract invoice-ocr
  • 最后活动时间: 2026-10-25

pooch ​

科学计算数据集下载管理工具,支持 HTTP/FTP 协议,适用于机器学习数据集获取与管理。

  • Stars: ⭐️ 745
  • Tags: data-download dataset-manager scientific-computing python3
  • 最后活动时间: 2026-09-09

dedoc ​

自动化文档解析库,支持提取内容、逻辑结构、表格和元信息,兼容多种文档格式。

  • Stars: ⭐️ 736
  • Tags: 文档解析 表格识别 OCR
  • 最后活动时间: 2026-09-29

pdftext ​

快速从 PDF 中提取结构化文本的高性能解析器,是构建 RAG 与 LLM 文档处理流水线的理想前置工具。

  • Stars: ⭐️ 732
  • Tags: pdf text-extraction data-parser rag llm
  • 最后活动时间: 2026-07-08

doc7 ​

将文档转换为AI可用的Markdown格式,具备视觉理解能力。支持PDF、Word等多种格式的智能解析,为RAG和知识库构建提供高质量数据源。

  • Stars: ⭐️ 717
  • Tags: document-ai pdf-to-markdown multimodal vision-language-model local-ai
  • 最后活动时间: 2026-08-07

GSEApy ​

用于基因集富集分析(GSEA)的Python库,支持将基因表达数据与生物学功能联系起来。它提供了丰富的可视化和分析工具,帮助研究人员探索基因组数据。

  • Stars: ⭐️ 716
  • Tags: gsea enrichment-analysis bioinformatics python3
  • 最后活动时间: 2026-09-02

NewsCrawl ​

企业级新闻舆情爬虫系统,支持多爬虫管理、定时任务、可视化监控和Docker一键部署,适合构建AI训练数据集和RAG知识库。

  • Stars: ⭐️ 691
  • Tags: crawler scraper news data-collection scrapy
  • 最后活动时间: 2026-05-23

deepcrawl ​

一款开源的边缘网络爬虫工具,可作为Firecrawl的替代方案。专为AI代理设计,提供高效的链接提取和HTML转Markdown功能。

  • Stars: ⭐️ 690
  • Tags: ai-agent-tools web-scraper crawling html-to-markdown cloudflare-workers
  • 最后活动时间: 2026-08-24

Versatile-OCR-Program ​

多模态OCR流水线工具,专为机器学习训练优化,支持文本、图表、数学公式、表格等多种文档类型的识别与解析。

  • Stars: ⭐️ 674
  • Tags: ocr multi-modal table-parsing machine-learning
  • 最后活动时间: 2026-05-13

fenic ​

为人类和AI智能体设计的语义DataFrame工具,简化数据语义处理流程。让大模型能够更高效地理解和操作结构化数据。

  • Stars: ⭐️ 674
  • Tags: ai-agents dataframe semantic-data llm
  • 最后活动时间: 2026-10-24

parquet-wasm ​

基于Rust编译为WebAssembly的Apache Parquet读写库,与Arrow生态高性能互操作。适用于浏览器与Node.js中的大数据处理及AI数据管道场景。

  • Stars: ⭐️ 674
  • Tags: parquet arrow webassembly rust data-processing
  • 最后活动时间: 2026-10-19

lennys-newsletterpodcastdata ​

提供Lenny's Podcast和Newsletter的转录文本,已转换为适合AI处理的Markdown格式。非常适合用于RAG系统微调或大语言模型的数据源。

  • Stars: ⭐️ 672
  • Tags: dataset rag markdown llm newsletter
  • 最后活动时间: 2026-10-21

semchunk ​

轻量级Python文本语义分块库,优化RAG系统检索效果。

  • Stars: ⭐️ 667
  • Tags: semantic-chunking text-processing rag
  • 最后活动时间: 2026-06-13

Docufinder ​

一款本地优先、完全离线的文档内容搜索工具,支持HWP、PDF及Office等格式的秒级全文检索。内置基于ONNX的本地AI问答(RAG)功能,完美适配韩文及多语言环境。

  • Stars: ⭐️ 667
  • Tags: document-search offline-first rag onnx tauri korean-nlp
  • 最后活动时间: 2026-10-20

lindera ​

多语言形态学分析库,支持日文等语言的分词与词形还原,是构建RAG与搜索管道的常用文本预处理工具。

  • Stars: ⭐️ 663
  • Tags: tokenizer morphological-analysis nlp multilingual
  • 最后活动时间: 2026-08-25

polars_ds_extension ​

基于Rust的高性能Polars数据科学扩展,为DataFrame内置线性模型、统计检验、特征工程等常用数据科学功能。让数据清洗、建模与分析在同一高速流水线中完成。

  • Stars: ⭐️ 656
  • Tags: polars data-science rust dataframe statistics
  • 最后活动时间: 2026-10-16

kepler-mapper ​

灵活的Python Mapper算法实现,用于拓扑数据分析(TDA)。可将高维数据映射为可理解的图结构,帮助发现数据中的隐藏模式和形状。

  • Stars: ⭐️ 653
  • Tags: topological-data-analysis data-visualization python mapper-algorithm tda
  • 最后活动时间: 2026-08-02

DataCleaner ​

开源数据质量解决方案,提供数据清洗、分析和ETL功能。

  • Stars: ⭐️ 650
  • Tags: data-quality etl data-profiling datacleaner
  • 最后活动时间: 2026-07-27

light-ocr ​

基于 PP-OCRv6 的轻量离线 OCR 引擎,支持 Core ML 与 WebGPU 硬件加速,可在 Node.js/C++ 中识别图像文字并返回置信度与坐标。

  • Stars: ⭐️ 646
  • Tags: OCR PaddleOCR ComputerVision MachineLearning NodeJS
  • 最后活动时间: 2026-10-08

NewsCrawler ​

多平台新闻与内容爬虫集合,支持微信、Twitter、今日头条等多个主流平台。可为AI大模型和RAG系统提供丰富的数据源支持。

  • Stars: ⭐️ 637
  • Tags: crawler scraper news data rag
  • 最后活动时间: 2026-08-08

text-splitter ​

将文本按语义智能分块的 Rust/Python 库,支持按字符和 Token 计算长度,是 RAG 系统中文档预处理的关键组件。

  • Stars: ⭐️ 636
  • Tags: text-splitting rag chunking nlp rust
  • 最后活动时间: 2026-10-25

OfficeIMO ​

MIT 协议的免费 .NET 库,无需 COM 组件即可创建、读取、编辑、转换和提取 Word、Excel、PPT、PDF、邮件及 OneNote 等文档格式,是 Aspose 的开源替代品。其强大的文档解析与提取能力可作为 RAG 数据管道中的文档处理组件。

  • Stars: ⭐️ 631
  • Tags: dotnet openxml docx pdf document-parsing rag document-conversion
  • 最后活动时间: 2026-10-22

tokenmonster ​

支持多语言的轻量级子词分词器和词汇表训练工具。适用于大模型数据处理与RAG场景下的文本切分。

  • Stars: ⭐️ 626
  • Tags: text-tokenization tokenizer vocabulary-builder nlp
  • 最后活动时间: 2026-07-10

MinerU-Diffusion ​

基于扩散模型的文档OCR框架,采用块级并行扩散解码替代自回归解码,高效提取PDF文档数据。

  • Stars: ⭐️ 621
  • Tags: diffusion ocr document-analysis pdf-parser
  • 最后活动时间: 2026-06-18

devnors-data-mcp ​

Devnors 数据 MCP 服务器,为 Claude、Cursor 等 AI 代理提供裁判文书、法律法规、企业工商、热搜榜、快递查询等统一数据查询 API。

  • Stars: ⭐️ 618
  • Tags: mcp model-context-protocol data-api ai-agents llm
  • 最后活动时间: 2026-09-15

harvester ​

智能数据采集框架,支持从GitHub和网页源获取数据,集成Anthropic、DeepSeek、Gemini、OpenAI、Qwen等多种AI模型。

  • Stars: ⭐️ 609
  • Tags: ai data-collection web-scraping openai anthropic
  • 最后活动时间: 2026-06-23

reddit-universal-scraper ​

通用Reddit数据抓取工具,支持任意Subreddit和用户数据采集,适用于AI训练数据收集和舆情分析场景。

  • Stars: ⭐️ 609
  • Tags: reddit scraper data-collection open-source
  • 最后活动时间: 2026-10-22

SheetasToken ​

基于图增强的多表格电子表格理解与检索框架,用于复杂数据解析。

  • Stars: ⭐️ 608
  • Tags: graph-neural-networks spreadsheet data-parsing retrieval
  • 最后活动时间: 2026-07-29

mcp-pandoc ​

基于Pandoc的文档格式转换MCP服务器,支持多种文档格式的相互转换。

  • Stars: ⭐️ 583
  • Tags: mcp pandoc document-conversion ai
  • 最后活动时间: 2026-08-15

r-polars ​

Polars 的 R 语言绑定,提供高性能 DataFrame 数据处理能力,广泛应用于机器学习和数据分析工作流。

  • Stars: ⭐️ 576
  • Tags: polars dataframe data-processing r rust
  • 最后活动时间: 2026-10-24

mdflux ​

本地优先的桌面应用,可将扫描版PDF等任意文档批量转换为AI就绪的干净Markdown,支持完全离线运行。相比视觉模型大幅节省token消耗,是为RAG和LLM工作流准备数据的理想工具。

  • Stars: ⭐️ 573
  • Tags: OCR PDF-to-Markdown RAG LLM Local-First Document-Conversion
  • 最后活动时间: 2026-10-22

php-parser ​

NodeJS 的 PHP 解析器,可生成 AST 与词法标记,适合作为代码理解与知识提取流程的数据解析组件。

  • Stars: ⭐️ 564
  • Tags: PHP Parser AST Tokenizer StaticAnalysis
  • 最后活动时间: 2026-10-02

reader ​

专为LLM设计的生产级网页抓取引擎,可将网页内容转换为干净的Markdown格式,为AI智能体提供高质量数据输入。

  • Stars: ⭐️ 562
  • Tags: ai-crawler web-scraping llm markdown content-extraction
  • 最后活动时间: 2026-10-06

officeParser ​

一个强类型的 Node.js 和浏览器端库,用于解析 Office 文件(如 docx、pptx、xlsx 等)并生成丰富的抽象语法树(AST)。支持多种格式的相互转换,并能输出适用于 RAG 场景的文本块。

  • Stars: ⭐️ 562
  • Tags: docx pptx xlsx parser rag typescript nodejs
  • 最后活动时间: 2026-10-20

WeVisDoc ​

基于 Qwen3-VL 微调的端到端文档解析模型,可将页面图像精准转换为结构化 Markdown,并完整还原 LaTeX 公式与 HTML 表格。适合构建文档理解与知识库数据管道。

  • Stars: ⭐️ 561
  • Tags: document-parsing vision-language-model qwen3-vl ocr markdown fine-tuning
  • 最后活动时间: 2026-09-18

oxylabs-ai-studio-openclaw ​

Oxylabs 官方推出的 OpenClaw 插件,为 AI 智能体提供高质量网页搜索与数据抓取能力,可作为 Tavily/Firecrawl 的替代方案。

  • Stars: ⭐️ 548
  • Tags: OpenClaw Web-Scraping AI-Search Data-Parsing Oxylabs
  • 最后活动时间: 2026-09-16

wdoc ​

强大的异构文档处理工具,支持多种文件格式和任意LLM提供商,提供高级RAG检索和智能摘要功能。

  • Stars: ⭐️ 544
  • Tags: RAG Document Processing LLM
  • 最后活动时间: 2026-10-12

ragflow-upload ​

RagFlow文档批量上传与解析自动化工具,支持将文档自动上传至知识库并完成解析,显著提升RAG系统构建效率。

  • Stars: ⭐️ 537
  • Tags: ragflow document-upload knowledge-base automation
  • 最后活动时间: 2026-09-02

cad2data-Revit-IFC-DWG ​

面向 AI 智能体的 CAD/BIM 数据转换工具,支持 Revit 转 GLB/IFC4/JSONL、DWG/IFC 转 Excel/DXF/SVG 等多种格式。提供离线 CLI、桌面应用、n8n 工作流及 AI-agent 使用说明,让大模型能直接解析工程图纸数据。

  • Stars: ⭐️ 530
  • Tags: CAD BIM Data-Parser AI-Agents Revit IFC JSONL
  • 最后活动时间: 2026-10-24

MultimodalUniverse ​

一个大规模的天文多模态数据集,适用于科学领域的AI研究与模型训练。

  • Stars: ⭐️ 516
  • Tags: astronomy multimodal dataset
  • 最后活动时间: 2026-06-17

ExtractPDF4J ​

Java PDF 表格提取与 OCR 库,支持从文本和扫描 PDF 中提取结构化表格。提供流式、网格和混合解析模式。

  • Stars: ⭐️ 508
  • Tags: java pdf ocr table-extraction document-processing
  • 最后活动时间: 2026-10-14

qiaomu-markdown-proxy ​

通过代理服务(r.jina.ai / defuddle.md)或内置脚本将任意网页抓取为干净的 Markdown,支持 X/Twitter、微信公众号等需登录页面。是构建 LLM/RAG 数据管线的实用网页内容解析工具。

  • Stars: ⭐️ 508
  • Tags: Markdown Web-Scraper RAG Data-Parsing LLM Proxy
  • 最后活动时间: 2026-08-05

RAG Frameworks ​

graphify ​

一款强大的AI编码助手技能,能将代码、数据库模式、文档等多种格式转化为可查询的知识图谱。结合图RAG技术,为多种AI编程工具提供深度的项目结构理解。

  • Stars: ⭐️ 135.3k
  • Tags: graphrag knowledge-graph claude-code rag tree-sitter
  • 最后活动时间: 2026-10-23

ragflow ​

领先的开源检索增强生成引擎,融合前沿RAG技术与Agent能力,支持深度文档理解和GraphRAG。

  • Stars: ⭐️ 92.7k
  • Tags: RAG Agent GraphRAG
  • 最后活动时间: 2026-10-22

graphify ​

将任意代码、文档或图像文件夹转换为可查询的知识图谱,支持Claude Code、Codex等多种AI编码助手的GraphRAG技能。

  • Stars: ⭐️ 66.0k
  • Tags: graphrag knowledge-graph claude-code codex
  • 最后活动时间: 2026-06-11

pathway ​

高性能Python ETL框架,支持流处理、实时分析、LLM管道和RAG应用开发。

  • Stars: ⭐️ 62.1k
  • Tags: ETL RAG Stream Processing LLM
  • 最后活动时间: 2026-10-25

llm-app ​

开箱即用的RAG和AI管道云模板,支持多数据源实时同步,Docker友好,适合构建企业级实时数据检索应用。

  • Stars: ⭐️ 58.9k
  • Tags: RAG Real-time Enterprise
  • 最后活动时间: 2026-07-05

serviette ​

基于 Pathway 构建的无代码 RAG 服务器,可让 AI 答案与文档实时保持同步。支持 Chroma、Milvus、Qdrant、Pinecone 等 8 种向量数据库,开箱即用地实现文档问答与语义搜索。

  • Stars: ⭐️ 58.8k
  • Tags: RAG LLM Vector-Database Self-Hosted Semantic-Search No-Code
  • 最后活动时间: 2026-10-16

llama_index ​

领先的数据框架,专注于连接自定义数据与大语言模型,支持构建RAG应用和文档智能体,是开发LLM应用的核心工具。

  • Stars: ⭐️ 52.7k
  • Tags: RAG Agents LLM Framework
  • 最后活动时间: 2026-10-23

GitNexus ​

零服务器代码智能引擎,在浏览器中运行的知识图谱创建器,内置Graph RAG智能体。

  • Stars: ⭐️ 47.1k
  • Tags: knowledge-graph rag code-intelligence browser
  • 最后活动时间: 2026-09-08

LightRAG ​

轻量高效的RAG框架,结合知识图谱实现快速准确的文档检索与问答,资源消耗低、响应速度快。

  • Stars: ⭐️ 40.3k
  • Tags: RAG 知识图谱 检索增强
  • 最后活动时间: 2026-10-20

PageIndex ​

创新的无向量RAG文档索引方案,通过推理能力实现精准文档检索,摆脱对传统向量数据库的依赖。

  • Stars: ⭐️ 39.7k
  • Tags: RAG 文档索引 推理检索
  • 最后活动时间: 2026-10-25

Quivr ​

开箱即用的 RAG 框架,可轻松将 GenAI 集成到现有产品中,支持 GPT-4、Groq、Llama 等任意 LLM 以及 PGVector、Faiss 等向量数据库。让你专注于产品本身,而非繁琐的 RAG 搭建。

  • Stars: ⭐️ 39.6k
  • Tags: RAG LLM GenAI Chatbot OpenAI Vector-Database
  • 最后活动时间: 2026-10-26

graphrag ​

微软开源的模块化图结构RAG系统,提升复杂知识检索与推理能力。

  • Stars: ⭐️ 36.4k
  • Tags: RAG GraphRAG LLM GPT-4
  • 最后活动时间: 2026-10-26

WeKnora ​

基于LLM的深度文档理解框架,采用RAG范式实现语义检索和上下文感知问答,支持多租户和多模型架构。

  • Stars: ⭐️ 35.4k
  • Tags: RAG Semantic Search Document Understanding
  • 最后活动时间: 2026-10-24

cognee ​

AI代理记忆知识引擎,6行代码即可集成知识图谱与向量数据库,支持Graph RAG和多种后端存储。

  • Stars: ⭐️ 32.7k
  • Tags: 知识图谱 Graph RAG AI代理记忆
  • 最后活动时间: 2026-10-23

qmd ​

本地文档搜索引擎,支持知识库和会议笔记的智能检索,采用最新SOTA方法实现完全本地化搜索。

  • Stars: ⭐️ 30.6k
  • Tags: search-engine local-search document-search cli
  • 最后活动时间: 2026-10-15

RAG_Techniques ​

展示RAG系统各种高级技术的资源库,结合信息检索与生成模型提供精准响应。

  • Stars: ⭐️ 30.0k
  • Tags: RAG LangChain 教程
  • 最后活动时间: 2026-10-22

FastGPT ​

基于大语言模型的知识库平台,提供数据处理、RAG检索和可视化AI工作流编排能力。

  • Stars: ⭐️ 29.9k
  • Tags: RAG Workflow LLM Agent
  • 最后活动时间: 2026-10-26

kotaemon ​

开源RAG工具,支持与文档进行智能对话,基于检索增强生成技术让用户轻松与文档内容交互。

  • Stars: ⭐️ 25.8k
  • Tags: RAG Document Chat Open Source
  • 最后活动时间: 2026-07-14

RAG-Anything ​

一站式RAG框架,支持多模态检索增强生成,简化RAG系统开发流程。

  • Stars: ⭐️ 24.0k
  • Tags: rag retrieval-augmented-generation multi-modal framework
  • 最后活动时间: 2026-10-21

localGPT ​

在本地设备上使用GPT模型与文档对话,数据完全私有化,100%保护隐私。

  • Stars: ⭐️ 22.2k
  • Tags: rag local-llm document-qa privacy
  • 最后活动时间: 2026-08-26

sentence-transformers ​

业界领先的文本嵌入框架,提供最先进的句子和文本向量表示,广泛应用于语义搜索、聚类和RAG系统。

  • Stars: ⭐️ 19.2k
  • Tags: embeddings nlp transformers semantic-search
  • 最后活动时间: 2026-10-23

memvid ​

轻量级AI智能体记忆层,用无服务器单文件方案替代复杂RAG管道,支持即时检索和长期记忆。

  • Stars: ⭐️ 16.6k
  • Tags: RAG AI记忆 无服务器
  • 最后活动时间: 2026-07-14

llmware ​

企业级RAG管道统一框架,专注于使用小型专业化模型构建检索增强生成系统。

  • Stars: ⭐️ 14.8k
  • Tags: RAG Enterprise LLM
  • 最后活动时间: 2026-10-01

semantica ​

AI原生知识图谱智能框架,支持语义检索、本体推理、上下文图谱和可解释AI系统,为智能体记忆和GraphRAG应用提供强大基础设施。

  • Stars: ⭐️ 14.2k
  • Tags: knowledge-graph graphrag rag semantic-retrieval ai-agents
  • 最后活动时间: 2026-10-25

flexsearch ​

高性能全文检索库,适合为AI应用提供本地检索与RAG能力。支持模糊搜索与浏览器/Node.js场景。

  • Stars: ⭐️ 13.8k
  • Tags: search full-text-search rag retrieval
  • 最后活动时间: 2026-06-28

LEANN ​

一个高效的本地RAG应用框架,能在个人设备上实现100%私有的检索增强生成。在保证快速准确的同时,节省高达97%的存储空间。

  • Stars: ⭐️ 13.1k
  • Tags: rag vector-database ollama privacy offline-first langchain
  • 最后活动时间: 2026-10-25

txtai ​

一体化AI框架,支持语义搜索、LLM编排和语言模型工作流,集成向量数据库和AI代理功能。

  • Stars: ⭐️ 13.0k
  • Tags: RAG 语义搜索 LLM 向量数据库
  • 最后活动时间: 2026-10-22

FlagEmbedding ​

BAAI开源的嵌入模型与检索增强生成工具包,支持文本语义相似度计算和大模型检索增强。

  • Stars: ⭐️ 12.3k
  • Tags: Embeddings RAG LLM
  • 最后活动时间: 2026-08-24

LEANN ​

高效隐私的本地RAG解决方案,支持97%存储压缩,可在个人设备上运行快速、准确的检索增强生成应用。

  • Stars: ⭐️ 11.8k
  • Tags: RAG Privacy Local Storage
  • 最后活动时间: 2026-05-27

quickwit ​

云原生搜索引擎,专为可观测性设计,可作为RAG系统的检索后端,支持大规模日志和文档检索。

  • Stars: ⭐️ 11.7k
  • Tags: search-engine cloud-native distributed-tracing tantivy
  • 最后活动时间: 2026-10-24

PixelRAG ​

一个可扩展的像素原生搜索框架,结合多模态视觉大模型与RAG技术,旨在替代传统的网页解析方式。

  • Stars: ⭐️ 10.4k
  • Tags: ai multimodal rag searchengine vlm
  • 最后活动时间: 2026-10-24

paper-qa ​

高精度 RAG 框架,专为科学文献问答设计,支持引用溯源。

  • Stars: ⭐️ 9.5k
  • Tags: rag science search citations
  • 最后活动时间: 2026-10-20

local-deep-research ​

本地深度研究工具,SimpleQA基准95%准确率,支持arXiv、PubMed等10+数据源,全程本地加密。

  • Stars: ⭐️ 9.4k
  • Tags: Deep Research Local LLM RAG Self-hosted
  • 最后活动时间: 2026-10-25

deep-searcher ​

开源深度研究工具,结合Agentic RAG技术在私有数据上实现智能推理与搜索,支持多种LLM和向量数据库。

  • Stars: ⭐️ 8.3k
  • Tags: RAG Agent Deep Research
  • 最后活动时间: 2026-09-22

azure-search-openai-demo ​

微软官方RAG模式示例应用,结合Azure AI Search和Azure OpenAI实现企业级智能问答。

  • Stars: ⭐️ 7.8k
  • Tags: RAG Azure Enterprise
  • 最后活动时间: 2026-10-24

airweave ​

开源AI智能体上下文检索层,支持多种数据连接器和语义搜索,轻松实现企业数据访问与检索。

  • Stars: ⭐️ 6.6k
  • Tags: RAG 语义搜索 数据连接器
  • 最后活动时间: 2026-06-05

hister ​

个人语义搜索引擎,支持本地索引和隐私保护。基于MCP协议构建,提供智能语义搜索能力。

  • Stars: ⭐️ 6.1k
  • Tags: semantic-search search-engine mcp-server golang
  • 最后活动时间: 2026-10-21

pgai ​

PostgreSQL AI扩展工具集,让开发者能够更轻松地构建RAG、语义搜索等AI应用。

  • Stars: ⭐️ 5.8k
  • Tags: PostgreSQL RAG Semantic Search
  • 最后活动时间: 2026-05-27

UltraRAG ​

低代码MCP框架,用于构建复杂创新的RAG管道,支持多模态检索和多种LLM后端集成,简化RAG应用开发流程。

  • Stars: ⭐️ 5.7k
  • Tags: RAG MCP 低代码 多模态
  • 最后活动时间: 2026-10-26

code-graph-rag ​

面向单体代码库的终极RAG解决方案,结合知识图谱和AI技术实现多语言代码库的查询、理解与编辑。

  • Stars: ⭐️ 5.3k
  • Tags: RAG Knowledge Graph Code Analysis MCP
  • 最后活动时间: 2026-10-25

llm-graph-builder ​

基于LLM的Neo4j知识图谱构建工具,支持从非结构化数据自动生成图结构,助力GraphRAG应用开发。

  • Stars: ⭐️ 5.3k
  • Tags: Knowledge Graph GraphRAG Neo4j LLM
  • 最后活动时间: 2026-10-23

AutoRAG ​

开源RAG评估与优化框架,采用AutoML风格自动化技术,提供完整的评估、基准测试和优化管道。

  • Stars: ⭐️ 5.2k
  • Tags: RAG Evaluation AutoML
  • 最后活动时间: 2026-10-25

OpenKB ​

开源LLM知识库项目,支持智能体与检索增强生成,助力构建企业级知识管理系统。

  • Stars: ⭐️ 4.8k
  • Tags: rag knowledge-base llm agents retrieval
  • 最后活动时间: 2026-07-22

sentrysearch ​

基于Gemini Embedding 2或Qwen3-VL的视频语义搜索工具,支持对行车记录仪和特斯拉视频进行智能检索。

  • Stars: ⭐️ 4.6k
  • Tags: semantic-search video gemini qwen3-vl chromadb
  • 最后活动时间: 2026-10-18

m_flow ​

受生物启发的认知记忆引擎,为 Graph RAG 提供新范式,支持情景记忆与语义记忆的长期存储。

  • Stars: ⭐️ 4.5k
  • Tags: agent-memory graph-rag llm memory-engine
  • 最后活动时间: 2026-09-01

memory-lancedb-pro ​

增强版LanceDB记忆插件,支持混合检索(向量+BM25)、交叉编码器重排序和多范围隔离。

  • Stars: ⭐️ 4.5k
  • Tags: LanceDB RAG Hybrid Retrieval
  • 最后活动时间: 2026-10-21

m_flow ​

受生物启发的认知记忆引擎,为Graph RAG提供新范式,支持情景记忆和语义记忆。

  • Stars: ⭐️ 4.4k
  • Tags: rag graph-database knowledge-graph memory-engine llm vector-search
  • 最后活动时间: 2026-06-01

lucene-solr ​

Apache Lucene和Solr开源搜索引擎,提供强大的全文检索、分面搜索和分布式搜索能力,是构建RAG系统和AI检索应用的核心基础设施。

  • Stars: ⭐️ 4.4k
  • Tags: search-engine information-retrieval full-text-search
  • 最后活动时间: 2026-05-15

agentic-rag-for-dummies ​

基于LangGraph构建的模块化Agentic RAG系统,帮助开发者快速上手检索增强生成智能体。

  • Stars: ⭐️ 4.3k
  • Tags: RAG Agent LangGraph Qdrant
  • 最后活动时间: 2026-10-17

Hyper-Extract ​

使用LLM将非结构化文本转换为结构化知识图谱和超图的CLI工具,支持时空信息提取,一键完成知识抽取。

  • Stars: ⭐️ 4.2k
  • Tags: llm knowledge-graph information-extraction rag cli
  • 最后活动时间: 2026-10-15

zvec-grep ​

本地优先的工作区搜索引擎,融合 BM25 全文检索与语义/向量搜索。专为人类和 AI 智能体打造,支持通过 MCP 集成,快速精准地检索代码与文档。

  • Stars: ⭐️ 4.2k
  • Tags: AI Agents Semantic Search Vector Search MCP Code Search Local-First
  • 最后活动时间: 2026-10-23

knowledge_graph ​

将任意文本转换为知识图谱,支持Graph Augmented Generation和基于知识图谱的问答系统。

  • Stars: ⭐️ 4.2k
  • Tags: Knowledge Graph RAG Text Processing
  • 最后活动时间: 2026-08-15

chonkie ​

轻量级文档分块库,专为高效RAG管道设计,支持语义分块、相似度搜索等多种分割算法。

  • Stars: ⭐️ 4.1k
  • Tags: Chunking RAG Text-Splitter
  • 最后活动时间: 2026-06-11

HippoRAG ​

NeurIPS'24论文,受人类长期记忆启发的RAG框架,结合知识图谱与个性化PageRank实现持续知识整合。

  • Stars: ⭐️ 4.1k
  • Tags: rag knowledge-graph pagerank memory neurips
  • 最后活动时间: 2026-10-06

morphik-core ​

高精度文档搜索与存储引擎,支持多模态RAG应用开发,集成ColPali检索技术。

  • Stars: ⭐️ 3.7k
  • Tags: rag document-search multimodal database
  • 最后活动时间: 2026-10-21

llm-wiki-agent ​

自维护的个人知识库系统,支持 Claude Code、Codex、Gemini CLI,自动从源文件提取知识并构建互联 Wiki,无需 API 密钥。

  • Stars: ⭐️ 3.7k
  • Tags: knowledge-base rag knowledge-graph claude-code markdown wiki
  • 最后活动时间: 2026-10-19

lucene ​

Apache Lucene是业界领先的开源全文搜索引擎库,为RAG系统和信息检索应用提供核心基础能力。

  • Stars: ⭐️ 3.6k
  • Tags: search-engine information-retrieval java full-text-search
  • 最后活动时间: 2026-10-24

FlashRAG ​

高效RAG研究Python工具包,WWW2025资源论文,支持检索增强生成全流程。

  • Stars: ⭐️ 3.6k
  • Tags: RAG LLM Retrieval Benchmark
  • 最后活动时间: 2026-10-12

instagraph ​

将文本或URL内容自动转换为知识图谱并可视化展示的轻量工具。

  • Stars: ⭐️ 3.6k
  • Tags: knowledge-graph visualization text-analysis nlp
  • 最后活动时间: 2026-10-04

sie ​

Superlinked开源推理引擎,专为嵌入向量、重排序和提取设计的生产级推理服务器与集群解决方案。

  • Stars: ⭐️ 3.4k
  • Tags: embeddings vector-search inference-server rag semantic-search
  • 最后活动时间: 2026-10-25

notebooklm-mcp ​

NotebookLM的MCP服务器,让AI代理直接从知识库获取带引用支撑的精准答案,实现零幻觉研究。

  • Stars: ⭐️ 3.4k
  • Tags: MCP NotebookLM RAG AI Agents
  • 最后活动时间: 2026-09-10

ai-knowledge-graph ​

AI驱动的知识图谱生成器,支持可视化展示与网络分析。

  • Stars: ⭐️ 3.1k
  • Tags: knowledge-graph llm visualization networkx
  • 最后活动时间: 2026-09-13

无需移动数据的AI搜索与RAG平台,支持100+应用联邦查询,分钟级部署,保障数据安全。

  • Stars: ⭐️ 3.0k
  • Tags: rag federated-search ai-search retrieval-augmented-generation
  • 最后活动时间: 2026-10-19

ddgs ​

元搜索库,聚合多源网络搜索结果,提供MCP服务器接口供AI代理调用。

  • Stars: ⭐️ 3.0k
  • Tags: metasearch websearch mcp mcp-server search-api
  • 最后活动时间: 2026-10-23

autoflow ​

基于 Graph RAG 的对话式知识库工具,使用 TiDB Serverless 向量存储构建。支持知识图谱和智能问答。

  • Stars: ⭐️ 3.0k
  • Tags: RAG GraphRAG Vector Database Knowledge Graph
  • 最后活动时间: 2026-10-23

NeMo-Retriever ​

NVIDIA开源的可扩展文档内容提取微服务,支持文本、表格、图表和图像提取,专为生成式AI应用设计。

  • Stars: ⭐️ 3.0k
  • Tags: RAG NVIDIA Document Extraction
  • 最后活动时间: 2026-08-05

colpali ​

ColVision系列模型训练与推理代码,支持ColPali、ColQwen2等视觉语言检索模型。

  • Stars: ⭐️ 2.8k
  • Tags: vision-language-model information-retrieval rag colpali
  • 最后活动时间: 2026-09-21

trustgraph ​

图原生上下文开发平台,提供知识存储、丰富和检索能力,支持语义检索和可移植上下文核心。

  • Stars: ⭐️ 2.8k
  • Tags: 知识图谱 语义检索 上下文平台
  • 最后活动时间: 2026-10-21

claude-supermemory ​

让 Claude Code 实时学习并更新知识库,实现持续成长的记忆系统。

  • Stars: ⭐️ 2.8k
  • Tags: claude-code memory rag supermemory
  • 最后活动时间: 2026-10-19

memsearch ​

Markdown优先的AI智能体记忆系统,支持语义搜索和渐进式信息展示,让AI助手拥有持久化记忆能力。

  • Stars: ⭐️ 2.8k
  • Tags: Agent-Memory Semantic-Search RAG
  • 最后活动时间: 2026-10-23

SAG ​

SQL驱动的RAG引擎,查询时自动构建知识图谱,支持向量搜索和知识库管理。

  • Stars: ⭐️ 2.6k
  • Tags: rag knowledge-graph graphrag llm
  • 最后活动时间: 2026-10-22

karpathy-llm-wiki ​

兼容Agent Skills的LLM知识库,支持Claude Code、Cursor和Codex,可构建带引用的知识管理系统。

  • Stars: ⭐️ 2.6k
  • Tags: llm-wiki knowledge-base claude-code rag-alternative markdown
  • 最后活动时间: 2026-07-23

llm-wiki-skill ​

基于 Karpathy llm-wiki 方法论构建的个人知识库 Skill,支持多平台,帮助用户高效管理和检索知识。

  • Stars: ⭐️ 2.6k
  • Tags: llm knowledge-base rag skill
  • 最后活动时间: 2026-07-27

edgequake ​

高性能GraphRAG框架,使用Rust编写,灵感源自LightRAG,专注于知识图谱检索。

  • Stars: ⭐️ 2.3k
  • Tags: graphrag rag rust knowledge-graph
  • 最后活动时间: 2026-10-22

relation-graph ​

支持React/Vue/Svelte的关系图谱可视化组件,采用LLM友好架构设计,适用于知识图谱构建与AI应用场景。

  • Stars: ⭐️ 2.3k
  • Tags: knowledge-graph react vue visualization llm
  • 最后活动时间: 2026-05-20

AmpliGraph ​

知识图谱表示学习Python库,提供图嵌入和关系学习算法,支持知识图谱补全等任务。

  • Stars: ⭐️ 2.2k
  • Tags: Knowledge Graph Graph Embeddings Representation Learning
  • 最后活动时间: 2026-08-06

kernel-memory ​

面向用户和应用的内存解决方案,提供索引、语义搜索和RAG能力,支持团队协作。

  • Stars: ⭐️ 2.2k
  • Tags: RAG Memory Semantic-Search Indexing
  • 最后活动时间: 2026-06-08

obsidian-omnisearch ​

Obsidian智能搜索引擎,支持OCR文字识别和PDF索引,提供语义化搜索体验。

  • Stars: ⭐️ 2.2k
  • Tags: Search OCR PDF RAG
  • 最后活动时间: 2026-10-24

pyserini ​

用于可复现信息检索研究的Python工具包,支持稀疏和密集表示。

  • Stars: ⭐️ 2.2k
  • Tags: information-retrieval search python
  • 最后活动时间: 2026-10-21

agentset ​

开源RAG平台,内置引用、深度研究、支持22+文件格式、分区和MCP服务器等功能。

  • Stars: ⭐️ 2.1k
  • Tags: RAG AI Agents Embeddings
  • 最后活动时间: 2026-10-22

RAGHub ​

社区驱动的 RAG 框架、项目和资源集合,探索检索增强生成生态系统。

  • Stars: ⭐️ 2.0k
  • Tags: rag ai llm retrieval-augmented-generation
  • 最后活动时间: 2026-07-28

contextplus ​

面向大规模工程项目的MCP服务器,结合RAG、Tree-sitter AST和谱聚类技术,将代码库转化为可搜索的层次化特征图谱,实现99%精度的语义智能检索。

  • Stars: ⭐️ 2.0k
  • Tags: MCP Server RAG Code Intelligence
  • 最后活动时间: 2026-07-13

CORTEX-AI-SUPER-RAG ​

企业级检索增强生成(RAG)知识助手,支持权限感知检索与快速部署,帮助团队从公司数据中获取带引用的精准答案。

  • Stars: ⭐️ 2.0k
  • Tags: rag enterprise knowledge-retrieval ai-assistant
  • 最后活动时间: 2026-09-28

BCEmbedding ​

网易有道开源的嵌入和重排序模型,专为 RAG 产品优化。

  • Stars: ⭐️ 1.9k
  • Tags: embeddings reranker rag nlp
  • 最后活动时间: 2026-09-03

llm-applications ​

构建生产级RAG大语言模型应用的综合指南,涵盖微调、服务部署等核心内容。

  • Stars: ⭐️ 1.9k
  • Tags: llms rag fine-tuning ray production
  • 最后活动时间: 2026-08-15

bm25s ​

高性能Python BM25词法搜索库,专为RAG系统提供快速检索能力。

  • Stars: ⭐️ 1.8k
  • Tags: bm25 lexical-search information-retrieval rag
  • 最后活动时间: 2026-10-18

lat.md ​

基于Markdown的代码库知识图谱工具,为AI应用提供结构化的代码知识索引。

  • Stars: ⭐️ 1.8k
  • Tags: knowledge-graph markdown codebase rag
  • 最后活动时间: 2026-07-29

ck ​

本地优先的语义搜索与混合BM25工具,基于Rust构建,支持AI和人类使用的高效语义检索。

  • Stars: ⭐️ 1.8k
  • Tags: 语义搜索 Rust 本地优先
  • 最后活动时间: 2026-10-15

基于Next.js、OpenAI和Supabase构建的ChatGPT风格文档搜索模板。

  • Stars: ⭐️ 1.7k
  • Tags: rag nextjs openai vector-search supabase
  • 最后活动时间: 2026-05-12

lotus ​

AI驱动的数据处理框架,结合LLM和嵌入技术实现语义搜索与查询,性能提升高达1000倍,API简洁如Pandas。

  • Stars: ⭐️ 1.7k
  • Tags: LLM Data Processing Semantic Search Pandas
  • 最后活动时间: 2026-10-08

ragbits ​

GenAI应用快速开发构建块,提供文档搜索、评估、护栏、提示优化等完整工具链。

  • Stars: ⭐️ 1.7k
  • Tags: rag agents llms vector-stores document-search
  • 最后活动时间: 2026-05-18

Controllable-RAG-Agent ​

高级检索增强生成解决方案,采用图算法处理复杂问答任务。

  • Stars: ⭐️ 1.6k
  • Tags: RAG LangGraph Agent
  • 最后活动时间: 2026-10-24

open-glean ​

面向知识工作的开源AI平台,连接各类应用,帮助团队快速检索信息、获取答案并高效完成工作。

  • Stars: ⭐️ 1.6k
  • Tags: enterprise-search rag ai-platform knowledge-management open-source
  • 最后活动时间: 2026-10-17

synthadoc ​

开源的LLM知识编译引擎,将原始文档转化为结构化的本地优先Wiki。提供透明、可读的RAG替代方案,支持自管理与自优化。

  • Stars: ⭐️ 1.6k
  • Tags: agentic-ai knowledge-graph local-llm obsidian-plugin rag-alternative
  • 最后活动时间: 2026-10-22

rag-stack ​

私有化部署的ChatGPT替代方案,支持连接组织知识库,可运行Llama 2、Falcon等开源模型。

  • Stars: ⭐️ 1.6k
  • Tags: rag private-llm knowledge-base chatbot
  • 最后活动时间: 2026-10-12

搜索引擎技术资源大全,涵盖排序、语义搜索、知识图谱、查询理解等核心主题。

  • Stars: ⭐️ 1.6k
  • Tags: search-engine semantic-search learning-to-rank nlp
  • 最后活动时间: 2026-10-20

ragbuilder ​

创建生产级RAG系统的工具包,帮助用户为数据构建最优的检索增强生成配置。

  • Stars: ⭐️ 1.5k
  • Tags: rag genai developer-tools
  • 最后活动时间: 2026-10-02

elasticsearch-learning-to-rank ​

Elasticsearch学习排序插件,将机器学习应用于搜索相关性优化。

  • Stars: ⭐️ 1.5k
  • Tags: elasticsearch learning-to-rank search-relevance machine-learning
  • 最后活动时间: 2026-06-16

arkhon ​

企业级AI知识库与MCP服务器,支持团队管理RAG上下文、访问策略和AI技能。可通过模型上下文协议(MCP)连接Claude等LLM,实现安全的组织知识集成。

  • Stars: ⭐️ 1.5k
  • Tags: mcp rag knowledge-base llm self-hosted
  • 最后活动时间: 2026-06-03

RAGQnASystem ​

基于RAG与大模型的医疗问答系统,结合知识图谱与BERT实体识别,提升医疗咨询可靠性。

  • Stars: ⭐️ 1.5k
  • Tags: rag knowledge-graph medical-qa bert neo4j
  • 最后活动时间: 2026-05-29

ColiVara ​

基于视觉嵌入的文档检索服务,无需OCR即可实现文档的存储、搜索和检索,支持文本和视觉文档的SOTA检索性能。

  • Stars: ⭐️ 1.5k
  • Tags: document-retrieval vision-models rag embeddings
  • 最后活动时间: 2026-07-08

jena ​

Apache Jena 是用于构建语义网和关联数据应用的免费开源框架,支持 RDF、SPARQL 和知识图谱,可用于 AI 系统的知识表示与检索。

  • Stars: ⭐️ 1.5k
  • Tags: rdf sparql knowledge-graph semantic-web
  • 最后活动时间: 2026-10-21

ragflow-plus ​

Ragflow的二次开发增强版本,优化了原版使其更加简洁实用,适合构建RAG检索增强生成应用。

  • Stars: ⭐️ 1.4k
  • Tags: rag llm retrieval-augmented-generation knowledge-base
  • 最后活动时间: 2026-10-04

jonex ​

jonex 是一个全能的多模态解析引擎,结合本体论和 LLM 驱动的维基知识引擎。它帮助构建 AI 就绪的知识库,支持 RAG 和图谱推理等功能。

  • Stars: ⭐️ 1.4k
  • Tags: LLM RAG Multimodal Ontology Knowledge Engine
  • 最后活动时间: 2026-10-21

pdftochat ​

基于AI的PDF文档对话工具,让用户能够直接与PDF内容进行智能交互。

  • Stars: ⭐️ 1.4k
  • Tags: pdf rag chatbot ai
  • 最后活动时间: 2026-06-26

search-index ​

持久化、网络弹性的全文搜索库,支持浏览器和Node.js环境。

  • Stars: ⭐️ 1.4k
  • Tags: nlp search full-text-search
  • 最后活动时间: 2026-10-18

nocturne_memory ​

轻量级可回滚的可视化长期记忆服务器,专为MCP智能体设计,支持图结构化记忆,可替代传统向量RAG方案。

  • Stars: ⭐️ 1.4k
  • Tags: Memory MCP RAG
  • 最后活动时间: 2026-09-22

algoliasearch-client-javascript ​

Algoliasearch 是一个快速的 JavaScript API 客户端,用于与 Algolia 搜索引擎交互,支持语义搜索和 RAG 检索增强生成应用。

  • Stars: ⭐️ 1.4k
  • Tags: algolia search javascript api-client rag
  • 最后活动时间: 2026-10-23

memory-os ​

一个为 Hermes Agent 设计的7层记忆操作系统,提供基于 Qdrant 的持久化记忆和精准的上下文注入功能。支持本地运行并兼容任意 LLM 提供商。

  • Stars: ⭐️ 1.4k
  • Tags: ai-memory rag qdrant local-first context-injection vector-database
  • 最后活动时间: 2026-09-20

bilibili-rag ​

B站收藏夹智能RAG知识库工具,支持语音转写、向量检索和对话问答,让收藏内容不再吃灰。

  • Stars: ⭐️ 1.3k
  • Tags: rag llm vector-search knowledge-base chroma
  • 最后活动时间: 2026-09-27

cite ​

一个自托管的知识库协作平台,支持文档标注、版本控制、语义搜索和MCP协议,让人类与AI代理共同构建知识库。

  • Stars: ⭐️ 1.3k
  • Tags: agent knowledge-base semantic-search vector-database mcp
  • 最后活动时间: 2026-05-29

ApeRAG ​

生产级 GraphRAG 框架,支持多模态索引、AI Agent 集成和 Kubernetes 弹性部署。

  • Stars: ⭐️ 1.3k
  • Tags: graphrag mcp knowledge-graph agents rag
  • 最后活动时间: 2026-09-12

neo4j-graphrag-python ​

Neo4j官方推出的GraphRAG Python库,将知识图谱与RAG技术结合,提升AI检索增强生成的准确性和可解释性。

  • Stars: ⭐️ 1.3k
  • Tags: GraphRAG Neo4j Python
  • 最后活动时间: 2026-10-24

EmbedAnything ​

Rust构建的高性能嵌入和推理引擎,专为RAG应用设计,支持本地和云端部署,内存安全且生产就绪。

  • Stars: ⭐️ 1.3k
  • Tags: Rust Embeddings RAG
  • 最后活动时间: 2026-09-25

puppyone ​

为AI智能体提供上下文驱动的管理工具。专注于上下文工程和RAG技术,提升智能体的环境感知能力。

  • Stars: ⭐️ 1.3k
  • Tags: ai-agents context-engineering rag harness
  • 最后活动时间: 2026-08-02

raglite ​

轻量级Python RAG工具包,支持DuckDB和PostgreSQL,提供检索增强生成的完整解决方案。

  • Stars: ⭐️ 1.2k
  • Tags: RAG Vector Search PostgreSQL DuckDB
  • 最后活动时间: 2026-10-16

pg-jev ​

由 TypeSafe 的 Jev 驱动的 PostgreSQL 扩展,让你用自然语言直接向数据表提问,轻松实现 AI 驱动的数据库查询。无需编写 SQL,即可像对话一样探索数据。

  • Stars: ⭐️ 1.2k
  • Tags: PostgreSQL Text-to-SQL Natural-Language Database AI
  • 最后活动时间: 2026-10-06

anserini ​

基于Lucene的可复现信息检索工具包,为RAG系统和搜索引擎提供强大的检索能力支持。

  • Stars: ⭐️ 1.2k
  • Tags: information-retrieval lucene search rag
  • 最后活动时间: 2026-10-20

chat-with-your-data-solution-accelerator ​

Azure RAG解决方案加速器,集成Azure AI Search和Azure OpenAI,快速构建企业级ChatGPT问答系统。

  • Stars: ⭐️ 1.2k
  • Tags: RAG Azure OpenAI Enterprise
  • 最后活动时间: 2026-10-20

GPT-RAG ​

企业级安全RAG模式实现,使用Azure认知搜索和Azure OpenAI构建可扩展的智能问答系统。

  • Stars: ⭐️ 1.2k
  • Tags: RAG GPT-4 Azure Enterprise
  • 最后活动时间: 2026-09-29

semantica ​

构建语义层、上下文图和决策智能系统的框架,支持知识图谱和可解释性推理。

  • Stars: ⭐️ 1.2k
  • Tags: graphrag knowledge-graphs semantic-layer ai-agents
  • 最后活动时间: 2026-05-19

stashbase ​

将本地文件转化为 AI 智能体可搜索的知识上下文,基于 RAG 与语义搜索技术。内置 MCP 服务器,让 AI 代理安全地检索本地文档,数据不出本机。

  • Stars: ⭐️ 1.2k
  • Tags: RAG MCP AI-Agents Semantic-Search Local-First
  • 最后活动时间: 2026-10-25

fess ​

基于OpenSearch构建的开源企业级搜索引擎,支持多语言爬虫和REST API。提供强大的AI/RAG和语义搜索功能,助力企业级数据检索。

  • Stars: ⭐️ 1.1k
  • Tags: ai-search elasticsearch enterprise-search full-text-search llm opensearch rag semantic-search
  • 最后活动时间: 2026-10-25

RAG-Retrieval ​

统一高效的RAG检索微调框架,支持Embedding、ColBERT和ReRanker。

  • Stars: ⭐️ 1.1k
  • Tags: rag retrieval embedding fine-tuning
  • 最后活动时间: 2026-08-28

graphrag-local-ollama ​

为微软 GraphRAG 提供本地模型支持,支持 Llama3、Mistral、Gemma 等模型。

  • Stars: ⭐️ 1.1k
  • Tags: GraphRAG Ollama Local
  • 最后活动时间: 2026-05-08

LycheeMem ​

为LLM智能体提供的轻量级长期记忆系统,支持MCP协议与技能管理。

  • Stars: ⭐️ 1.1k
  • Tags: agent-memory ai-memory llm-memory mcp-server memory-system
  • 最后活动时间: 2026-08-06

llm-wiki-compiler ​

知识编译器,将原始数据源转换为互联的知识库Wiki。受Karpathy的LLM Wiki模式启发,专为LLM上下文工程设计。

  • Stars: ⭐️ 1.1k
  • Tags: llm knowledge-base context-engineering wiki markdown
  • 最后活动时间: 2026-05-05

fastembed-rs ​

Rust语言实现的向量嵌入和重排序库,高性能支持RAG检索系统。

  • Stars: ⭐️ 1.0k
  • Tags: embeddings reranking RAG Rust
  • 最后活动时间: 2026-10-22

Local-NotebookLM ​

本地版Google NotebookLM,支持多模型API,实现私有化知识库问答。

  • Stars: ⭐️ 1.0k
  • Tags: NotebookLM Local RAG
  • 最后活动时间: 2026-05-08

GraphRAG-SDK ​

基于知识图谱的RAG开发工具包,支持大规模构建快速准确的GenAI应用。

  • Stars: ⭐️ 1.0k
  • Tags: GraphRAG Knowledge Graph SDK
  • 最后活动时间: 2026-10-22

FlashRank ​

超轻量快速的重排序库,支持LLM和交叉编码器的Listwise/Pairwise重排序,专为检索管道优化。

  • Stars: ⭐️ 1.0k
  • Tags: reranking cross-encoder RAG semantic-search
  • 最后活动时间: 2026-07-11

VisRAG ​

基于视觉语言模型的无解析RAG框架,实现文档检索与理解的深度融合。

  • Stars: ⭐️ 986
  • Tags: RAG VLM Document Understanding
  • 最后活动时间: 2026-08-09

itext2kg ​

创新的LLM驱动知识图谱构建框架,模拟自然界构建物质的方式生成知识图谱。

  • Stars: ⭐️ 969
  • Tags: knowledge-graph llms temporal-knowledge-graph rag
  • 最后活动时间: 2026-09-04

rag-fusion ​

通过多查询生成和倒数排名融合技术显著提升RAG效果,内置NFCorpus/BEIR评估框架便于性能验证。

  • Stars: ⭐️ 959
  • Tags: RAG Vector Search Ranking Fusion
  • 最后活动时间: 2026-10-10

Local_Pdf_Chat_RAG ​

纯Python实现的RAG框架,支持FAISS+BM25混合检索,兼容Ollama和SiliconFlow,适合新手学习RAG技术。

  • Stars: ⭐️ 957
  • Tags: rag faiss bm25 document-qa
  • 最后活动时间: 2026-08-31

recipes ​

Weaviate官方示例代码库,提供RAG、向量检索和生成式AI集成的端到端教程notebook。

  • Stars: ⭐️ 950
  • Tags: generative-ai rag vector-database vector-search
  • 最后活动时间: 2026-10-21

opencraig ​

自托管文档智能工具,每个回答都标注来源页码,确保引用准确可追溯。支持知识图谱、多代理协作和多用户场景。

  • Stars: ⭐️ 922
  • Tags: rag knowledge-graph multi-agent self-hosted document-intelligence
  • 最后活动时间: 2026-05-12

rag-api ​

rag-api 是一个基于 Langchain 和 PostgreSQL/pgvector 的 ID-based RAG FastAPI 实现。它提供了高效的向量检索和生成集成,适合构建智能问答系统。

  • Stars: ⭐️ 918
  • Tags: RAG LangChain FastAPI pgvector Vector Database
  • 最后活动时间: 2026-10-23

chatWeb ​

智能网页文档问答工具。支持爬取网页、PDF、DOCX,基于内容进行问答和摘要。

  • Stars: ⭐️ 917
  • Tags: rag web-crawler pdf document-qa embedding
  • 最后活动时间: 2026-05-25

codegraph-rust ​

纯Rust实现的代码GraphRAG框架,支持AST解析和语义搜索,为代码智能体提供高效的上下文管理能力。

  • Stars: ⭐️ 908
  • Tags: graphrag code-analysis rust semantic-search ai-agents
  • 最后活动时间: 2026-10-12

rag_api ​

基于FastAPI的RAG API服务,集成Langchain与PostgreSQL/pgvector,提供高效的向量检索与生成能力。

  • Stars: ⭐️ 904
  • Tags: RAG FastAPI Langchain pgvector
  • 最后活动时间: 2026-08-15

pylate ​

后期交互模型的训练与检索库,专注于ColBERT等模型的语义检索能力。

  • Stars: ⭐️ 899
  • Tags: colbert information-retrieval language-model rag
  • 最后活动时间: 2026-07-23

SuperMew ​

一个Agentic RAG项目,结合了智能体与检索增强生成技术,提供学习路径代码。

  • Stars: ⭐️ 897
  • Tags: rag agents llm
  • 最后活动时间: 2026-10-07

typeagent-py ​

结构化RAG框架,支持数据摄取、索引构建和智能查询功能。

  • Stars: ⭐️ 894
  • Tags: rag llm indexing query
  • 最后活动时间: 2026-10-19

面向智能体网络(Agentic Web)的搜索引擎,提供 API、CLI 与 SDK,支持 MCP、RAG 与 llms.txt 等标准。帮助 AI 智能体高效检索和解析网页信息,是构建检索增强应用的理想基础设施。

  • Stars: ⭐️ 868
  • Tags: search-engine ai-agents mcp rag llms-txt information-retrieval sdk
  • 最后活动时间: 2026-08-05

leviathan ​

Leviathan 是一个单文件静态二进制工具,可将 JSONL、CSV、SQLite 等数据记录转化为排序的全文索引,为 AI 智能体在超大规模数据集上提供深度记忆与检索能力。

  • Stars: ⭐️ 857
  • Tags: agents retrieval full-text-search agent-memory cli
  • 最后活动时间: 2026-10-19

swiftide ​

Rust实现的高性能RAG框架,支持流式索引、查询和智能体应用开发。

  • Stars: ⭐️ 795
  • Tags: RAG Rust Indexing
  • 最后活动时间: 2026-10-23

rag ​

NVIDIA官方RAG蓝图参考方案,提供基础检索增强生成管道的完整实现。

  • Stars: ⭐️ 794
  • Tags: RAG NVIDIA NIM Blueprint
  • 最后活动时间: 2026-09-03

RAG-FiT ​

通过微调增强LLM在RAG任务中表现的框架,支持问答、语义搜索等信息检索场景。

  • Stars: ⭐️ 765
  • Tags: RAG Fine-tuning NLP
  • 最后活动时间: 2026-10-15

local-rag ​

完全本地化的RAG文档检索系统,使用开源LLM,数据不离开本地网络,保护敏感信息。

  • Stars: ⭐️ 765
  • Tags: rag local-llm ollama document-search
  • 最后活动时间: 2026-10-20

TAG-Bench ​

表格增强生成(TAG)基准测试,评估LLM与结构化表格数据的交互能力。

  • Stars: ⭐️ 765
  • Tags: table-augmented-generation benchmark llm structured-data
  • 最后活动时间: 2026-07-25

tevatron ​

SIGIR展示的统一文档检索工具包,支持跨规模、跨语言、跨模态的密集检索,适用于问答和RAG系统。

  • Stars: ⭐️ 750
  • Tags: dense-retrieval information-retrieval dpr pytorch
  • 最后活动时间: 2026-10-24

memora ​

为AI Agent提供持久化集体记忆的框架,支持去重吸收、语义搜索与图谱UI。兼容MCP协议,增强大模型的记忆能力。

  • Stars: ⭐️ 745
  • Tags: agent-memory rag mcp semantic-search knowledge-graph
  • 最后活动时间: 2026-10-24

graphrag-workbench ​

微软GraphRAG生成的知识图谱交互式3D可视化工具。支持沉浸式探索实体、关系和社区,提供直观的视觉分析体验。

  • Stars: ⭐️ 740
  • Tags: graphrag microsoft nextjs visualization knowledge-graph
  • 最后活动时间: 2026-07-18

MegaMemory ​

为编码智能体提供持久化项目知识图谱的MCP服务器,支持语义搜索和进程内嵌入。内置Web探索器,帮助AI助手更好地理解代码上下文。

  • Stars: ⭐️ 726
  • Tags: mcp knowledge-graph embeddings coding-agent semantic-search
  • 最后活动时间: 2026-05-03

ai-memory-vault ​

将 Obsidian 知识库转化为 AI 持久化工作记忆的开源系统,无需向量数据库,仅依赖 Markdown。

  • Stars: ⭐️ 722
  • Tags: ai-memory obsidian mcp knowledge-management
  • 最后活动时间: 2026-08-31

searchGPT ​

基于LLM的搜索引擎,支持来源引用、网页搜索和文件内容检索。

  • Stars: ⭐️ 710
  • Tags: search-engine rag llm grounded-search
  • 最后活动时间: 2026-09-22

pysolr ​

Python Solr客户端库,支持Apache Solr搜索引擎集成,可用于构建RAG检索增强生成系统的文档检索组件。

  • Stars: ⭐️ 702
  • Tags: solr search retrieval python
  • 最后活动时间: 2026-09-28

Rankify ​

全面的Python检索与重排序工具包,集成40+数据集、7+检索技术和24+重排序模型。

  • Stars: ⭐️ 684
  • Tags: reranking RAG information-retrieval LLM
  • 最后活动时间: 2026-09-07

liqe ​

Liqe 是一个轻量级且高性能的类 Lucene 解析器、序列化器和搜索引擎。适用于需要快速文本过滤与检索的各类应用场景。

  • Stars: ⭐️ 683
  • Tags: lucene parser search filter
  • 最后活动时间: 2026-06-11

meilisearch-go ​

Meilisearch 官方 Go 语言客户端,提供快速全文搜索能力,可集成到 RAG 系统中实现高效文档检索。

  • Stars: ⭐️ 680
  • Tags: meilisearch search golang rag
  • 最后活动时间: 2026-10-19

RAGMeUp ​

通用RAG框架,支持在任何数据集上应用大语言模型的强大能力。

  • Stars: ⭐️ 678
  • Tags: rag llm framework data-processing
  • 最后活动时间: 2026-09-12

RAG_langchain ​

基于LangChain实现的RAG检索增强生成示例项目,适合学习参考。

  • Stars: ⭐️ 676
  • Tags: rag langchain retrieval llm
  • 最后活动时间: 2026-10-07

cavemem ​

为编程助手提供跨智能体的持久记忆存储。支持本地压缩存储与快速检索,提升AI编码助手的上下文能力。

  • Stars: ⭐️ 676
  • Tags: ai memory rag coding-assistant
  • 最后活动时间: 2026-08-14

RAGLight ​

模块化RAG框架,支持多种LLM、嵌入模型和向量数据库,集成MCP工具连接外部数据源。

  • Stars: ⭐️ 673
  • Tags: RAG MCP Vector Database Modular
  • 最后活动时间: 2026-10-16

pdf-brain ​

基于本地向量搜索的PDF知识库工具,利用libsql存储和检索向量数据。帮助用户快速从大量PDF文档中提取和查询信息。

  • Stars: ⭐️ 662
  • Tags: pdf vector-search knowledge-base local-llm rag
  • 最后活动时间: 2026-06-25

rank_llm ​

专注于Listwise重排序的Python工具包,支持可复现的信息检索研究。

  • Stars: ⭐️ 660
  • Tags: reranking information-retrieval LLM
  • 最后活动时间: 2026-10-22

polywise ​

开源的智能体内容系统,通过Graph RAG和记忆机制让静态内容“活”起来。支持全平台自托管,提供决策系统和数字孪生功能,构建企业级知识库。

  • Stars: ⭐️ 659
  • Tags: rag graph-rag agentic-ai content-system self-hosted
  • 最后活动时间: 2026-06-11

ForgeRAG ​

生产级RAG框架,支持结构感知推理能力,帮助企业快速构建可靠的检索增强生成系统。

  • Stars: ⭐️ 652
  • Tags: RAG LLM retrieval production
  • 最后活动时间: 2026-05-04

hyperbase ​

语义超图基础工具包,支持知识图谱构建、自然语言理解和文本分析,适用于认知科学与计算社会科学研究。

  • Stars: ⭐️ 651
  • Tags: knowledge-graph nlp hypergraphs knowledge-representation text-analysis
  • 最后活动时间: 2026-10-18

haiku.rag ​

一个基于LanceDB、Pydantic AI和Docling构建的智能RAG框架,支持MCP协议,提供高效的文档检索与问答能力。

  • Stars: ⭐️ 636
  • Tags: rag lancedb pydantic-ai mcp-server docling
  • 最后活动时间: 2026-10-23

SemanticMediaWiki ​

将MediaWiki转化为知识管理平台,提供语义查询和导出能力,适用于RAG系统的知识图谱构建。

  • Stars: ⭐️ 631
  • Tags: knowledge-graph knowledge-management semantic-web rdf sparql wiki
  • 最后活动时间: 2026-10-22

marmot ​

数据目录和血缘可视化工具,帮助 AI Agent 发现、理解和管理企业数据资产。

  • Stars: ⭐️ 625
  • Tags: mcp data-catalog data-lineage data-governance metadata
  • 最后活动时间: 2026-10-24

mda ​

MAGI是一种专为AI系统设计的下一代Markdown扩展,通过结构化元数据和嵌入式AI指令增强标准Markdown,为RAG和KAG场景提供人机可读的无缝桥梁。

  • Stars: ⭐️ 621
  • Tags: rag ai-agents markdown llm embeddings
  • 最后活动时间: 2026-05-26

comunica ​

JavaScript知识图谱查询框架,支持SPARQL/GraphQL,具备MCP协议集成能力。

  • Stars: ⭐️ 617
  • Tags: Knowledge Graph SPARQL MCP
  • 最后活动时间: 2026-10-25

pi-llm-wiki ​

一个自维护的、兼容 Obsidian 的知识库,可将原始资料转化为互连的 Wiki,为大模型提供持久化记忆。

  • Stars: ⭐️ 616
  • Tags: llm-wiki knowledge-base mcp rag obsidian
  • 最后活动时间: 2026-10-20

Kwipu ​

完全本地运行的Graph RAG引擎,可对Obsidian等Markdown笔记做实体关系抽取与混合检索问答,支持多语言且无需云端。

  • Stars: ⭐️ 610
  • Tags: graph-rag obsidian ollama mcp knowledge-graph
  • 最后活动时间: 2026-10-22

sycamore ​

LLM驱动的非结构化数据搜索与分析平台,支持语义搜索和信息检索。

  • Stars: ⭐️ 607
  • Tags: LLM RAG 语义搜索 OpenSearch
  • 最后活动时间: 2026-08-01

EnterpriseRAG-Bench ​

针对企业内部文档的RAG数据集与基准测试工具,用于评估检索增强生成效果。支持问答、语义搜索及合成数据生成等多种评估场景。

  • Stars: ⭐️ 607
  • Tags: rag benchmark enterprise evaluation llm
  • 最后活动时间: 2026-09-03

embedJs ​

NodeJS RAG开发框架,简化LLM和嵌入向量的集成,支持多种向量数据库和LLM提供商。

  • Stars: ⭐️ 601
  • Tags: RAG Embeddings NodeJS
  • 最后活动时间: 2026-06-26

Graph-R1 ​

ICML 2026 论文官方资源,基于端到端强化学习的智能体 GraphRAG 框架,支持思维链推理与超图结构。

  • Stars: ⭐️ 597
  • Tags: graphrag reinforcement-learning chain-of-thought agents
  • 最后活动时间: 2026-04-30

agenthub-be ​

开源RAG平台,支持多模型接入。无需编写代码即可构建连接数据、工具和工作流的AI智能体。

  • Stars: ⭐️ 580
  • Tags: rag ai-agents llm no-code
  • 最后活动时间: 2026-05-14

neo4j-python-pandas-py2neo-v3 ​

结合Neo4j知识图谱与向量搜索的GraphRAG示例库,支持AI智能体应用开发。

  • Stars: ⭐️ 580
  • Tags: graphrag neo4j knowledge-graph vector-search ai-agents
  • 最后活动时间: 2026-10-09

resin ​

基于向量数据库的语言模型搜索引擎,支持键值存储和信息检索。

  • Stars: ⭐️ 578
  • Tags: language-model vector-search information-retrieval search-engine
  • 最后活动时间: 2026-09-28

industrial-general-rag ​

集成RAG与FAQ双机制,引入意图识别、动态自适应检索与RAGAS自动化评估体系,助力企业级问答系统从经验优化迈向数据驱动优化。

  • Stars: ⭐️ 568
  • Tags: RAG FAQ Intent-Recognition RAGAS Retrieval Evaluation
  • 最后活动时间: 2026-07-22

atlas ​

基于检索增强语言模型的少样本学习框架。

  • Stars: ⭐️ 565
  • Tags: retrieval-augmented few-shot-learning language-models
  • 最后活动时间: 2026-07-02

MimirQ ​

面向企业的中文优先 RAG 知识库,覆盖可控解析、切块治理、混合检索、重排引用与图谱评测,并可接入 Dify。

  • Stars: ⭐️ 565
  • Tags: RAG GraphRAG HybridSearch KnowledgeBase LLM
  • 最后活动时间: 2026-10-21

skald ​

自托管的上下文层平台,支持知识库管理和RAG应用构建。

  • Stars: ⭐️ 564
  • Tags: rag knowledge-base self-hosted context-layer
  • 最后活动时间: 2026-05-31

LinearRAG ​

ICLR 2026论文项目,提出基于线性图检索增强生成(Linear Graph RAG)的大规模语料库处理框架。

  • Stars: ⭐️ 563
  • Tags: graphrag llms rag
  • 最后活动时间: 2026-07-05

HiRAG ​

EMNLP'25论文实现:基于层次化知识的检索增强生成框架。

  • Stars: ⭐️ 556
  • Tags: rag llm retrieval graphrag
  • 最后活动时间: 2026-06-16

DocuBrowser ​

一款本地AI驱动的文档搜索引擎,类似于代码库浏览器,但专为文档设计。帮助用户高效检索和浏览本地文档内容。

  • Stars: ⭐️ 556
  • Tags: local-search document-search ai-search rag
  • 最后活动时间: 2026-10-07

为 DeepSeek Harness 提供的免费网络搜索插件,基于 DuckDuckGo 后端,无需 API 密钥。可让本地 AI 工作流轻松获得实时网络检索能力,是构建 RAG 应用的实用组件。

  • Stars: ⭐️ 552
  • Tags: deepseek web-search duckduckgo rag search-provider plugin
  • 最后活动时间: 2026-10-20

XRAG ​

系统性基准测试 RAG 核心组件的研究项目,深入评估高级检索增强生成中各基础模块的表现。

  • Stars: ⭐️ 550
  • Tags: rag llm benchmark llamaindex evaluation
  • 最后活动时间: 2026-10-19

Hibernate Search 为领域模型提供了强大的全文搜索功能,无缝集成 Lucene、Elasticsearch 和 OpenSearch。它简化了 ORM 框架与搜索引擎之间的数据同步与查询操作。

  • Stars: ⭐️ 537
  • Tags: hibernate elasticsearch lucene search java
  • 最后活动时间: 2026-10-22

graphrag-rs ​

GraphRAG的高性能Rust实现,从文档构建知识图谱并支持自然语言查询。支持本地LLM集成与可配置实体提取。

  • Stars: ⭐️ 535
  • Tags: graphrag rust llm knowledge-graph retrieval-augmented-generation
  • 最后活动时间: 2026-06-02

pyterrier ​

基于 Terrier 的 Python 信息检索实验框架,广泛用于构建检索、重排与 RAG 实验流水线。支持稀疏检索、稠密检索与神经重排等多种模型,是检索研究与 AI 搜索应用开发的有力工具。

  • Stars: ⭐️ 518
  • Tags: information-retrieval rag search python neural-ranking
  • 最后活动时间: 2026-10-21

chatgpt-your-files ​

基于 pgvector 的文档对话 MVP,安全地与您的文档进行智能对话。

  • Stars: ⭐️ 516
  • Tags: rag pgvector document-chat embeddings supabase
  • 最后活动时间: 2026-05-12

GraphRAG-Benchmark ​

GraphRAG-Bench 官方仓库(ICLR'26),系统评估图检索增强生成模型在何种场景下应使用图结构。GraphRAG 研究与评测的重要基准资源。

  • Stars: ⭐️ 514
  • Tags: GraphRAG RAG Benchmark Dataset Evaluation
  • 最后活动时间: 2026-06-07

PAI-RAG ​

一个易于使用的模块化 RAG 框架,帮助开发者快速构建和定制检索增强生成应用。

  • Stars: ⭐️ 510
  • Tags: RAG Framework Modular LLM
  • 最后活动时间: 2026-07-29

Masuit.LuceneEFCore.SearchEngine ​

基于 EntityFrameworkCore 和 Lucene.NET 实现的全文检索搜索引擎。它简化了 .NET 应用中数据库模型与全文搜索功能的集成。

  • Stars: ⭐️ 509
  • Tags: csharp lucene entity-framework-core search
  • 最后活动时间: 2026-10-14

rag-postgres-openai-python ​

基于 PostgreSQL + pgvector 的 RAG 应用,可对数据库表内容进行问答,支持 Azure Container Apps 一键部署。

  • Stars: ⭐️ 508
  • Tags: rag pgvector openai fastapi azure
  • 最后活动时间: 2026-10-23

pyversity ​

一个用于搜索与检索结果多样化的高性能 Python 库,内置 MMR、DPP 等多种去重算法,可显著提升 RAG 与向量检索的结果质量与覆盖度。

  • Stars: ⭐️ 502
  • Tags: retrieval diversification rag search mmr python
  • 最后活动时间: 2026-09-30

Vector Databases ​

Supabase ​

开源的Postgres开发平台,内置pgvector向量数据库支持,为AI应用提供嵌入存储和检索能力。

  • Stars: ⭐️ 113.9k
  • Tags: Vector Database PostgreSQL Embeddings
  • 最后活动时间: 2026-10-25

elasticsearch ​

分布式RESTful搜索引擎,支持向量检索,广泛用于RAG系统和语义搜索场景。

  • Stars: ⭐️ 78.3k
  • Tags: Search Engine Vector Search RAG
  • 最后活动时间: 2026-10-22

redis ​

高性能内存数据库,支持向量搜索和向量数据库功能,可用于AI应用的语义检索和RAG系统。

  • Stars: ⭐️ 77.1k
  • Tags: Vector Database Cache Real-time
  • 最后活动时间: 2026-10-26

meilisearch ​

闪电般快速的搜索引擎API,提供AI驱动的混合搜索能力,支持向量搜索、语义搜索和全文搜索的无缝集成。

  • Stars: ⭐️ 59.6k
  • Tags: 搜索引擎 向量搜索 混合搜索
  • 最后活动时间: 2026-10-22

ClickHouse ​

高性能实时分析数据库,广泛用于AI/ML数据处理和大规模特征存储场景

  • Stars: ⭐️ 50.6k
  • Tags: analytics database big-data olap sql
  • 最后活动时间: 2026-10-26

milvus ​

高性能云原生向量数据库,专为海量向量检索设计,广泛应用于RAG和推荐系统。

  • Stars: ⭐️ 46.4k
  • Tags: 向量数据库 RAG 向量检索
  • 最后活动时间: 2026-10-22

faiss ​

Meta开源的高效向量相似度搜索与聚类库,支持大规模向量检索,是AI向量检索领域的行业标准工具。

  • Stars: ⭐️ 41.2k
  • Tags: vector-search similarity-search embeddings clustering
  • 最后活动时间: 2026-10-20

tidb ​

TiDB是一款分布式SQL数据库,原生支持向量搜索功能,专为AI智能体工作负载设计。提供ACID事务保证,支持混合事务分析处理,是构建RAG应用的理想数据基础设施。

  • Stars: ⭐️ 40.7k
  • Tags: vector-database distributed-sql ai-database rag
  • 最后活动时间: 2026-10-26

qdrant ​

高性能向量数据库和搜索引擎,专为下一代AI应用设计,支持相似性搜索和混合搜索,是RAG应用的核心基础设施。

  • Stars: ⭐️ 35.3k
  • Tags: 向量数据库 相似性搜索 RAG AI基础设施
  • 最后活动时间: 2026-10-23

dragonfly ​

现代高性能内存数据库,兼容Redis和Memcached协议,支持向量搜索功能,适用于AI应用的向量检索场景。

  • Stars: ⭐️ 31.8k
  • Tags: Vector Database In-Memory Redis Compatible
  • 最后活动时间: 2026-10-22

TencentDB-Agent-Memory ​

为AI智能体提供完全本地化的长期记忆解决方案,采用四层渐进式管道且零外部API依赖。

  • Stars: ⭐️ 29.9k
  • Tags: ai-agent long-term-memory vector-search local-first
  • 最后活动时间: 2026-10-21

chroma ​

专为AI应用设计的向量数据库,提供高效的数据存储和检索能力。

  • Stars: ⭐️ 29.6k
  • Tags: vector-database ai embeddings rag
  • 最后活动时间: 2026-10-23

typesense ​

开源的搜索引擎和向量数据库,支持语义搜索、向量检索和模糊匹配,是构建AI搜索体验的理想选择。

  • Stars: ⭐️ 27.0k
  • Tags: search-engine vector-search semantic-search full-text-search
  • 最后活动时间: 2026-10-21

pgvector ​

PostgreSQL开源向量相似度搜索扩展,让Postgres支持向量存储与检索,是RAG应用的热门选择。

  • Stars: ⭐️ 23.4k
  • Tags: postgresql vector-search similarity-search embeddings
  • 最后活动时间: 2026-10-21

dgraph ​

高性能分布式图数据库,专为实时场景设计,可作为知识图谱与 AI 应用的底层存储引擎。

  • Stars: ⭐️ 21.8k
  • Tags: graph-database distributed-database knowledge-graph go
  • 最后活动时间: 2026-10-22

sonic ​

轻量级无模式搜索后端,可作为Elasticsearch替代方案,仅需几MB内存即可运行,适合AI应用的语义检索场景。

  • Stars: ⭐️ 21.4k
  • Tags: search search-engine rust index
  • 最后活动时间: 2026-10-21

turbovec ​

基于 TurboQuant 构建的高性能向量索引库,使用 Rust 编写并提供 Python 绑定。支持 SIMD 加速和多种量化技术,适用于 RAG 和向量检索场景。

  • Stars: ⭐️ 17.4k
  • Tags: vector-search embeddings rust rag quantization
  • 最后活动时间: 2026-10-07

weaviate ​

云原生开源向量数据库,支持向量搜索与结构化过滤,广泛应用于语义搜索、推荐系统和RAG场景。

  • Stars: ⭐️ 16.9k
  • Tags: Vector Database Semantic Search RAG
  • 最后活动时间: 2026-10-22

tantivy ​

受Apache Lucene启发用Rust编写的全文搜索引擎库,可用于RAG系统中的文档检索场景。

  • Stars: ⭐️ 16.2k
  • Tags: search-engine full-text-search rust information-retrieval
  • 最后活动时间: 2026-10-21

doris ​

Apache Doris 是一款高性能、易用的实时分析型数据库,支持海量数据极速查询,广泛应用于 OLAP 分析、实时数仓和 AI 数据处理场景。

  • Stars: ⭐️ 16.1k
  • Tags: database olap real-time analytics sql
  • 最后活动时间: 2026-10-25

zvec ​

轻量级、超快速的进程内向量数据库,专为AI应用设计,支持RAG检索和Agent记忆存储。

  • Stars: ⭐️ 16.1k
  • Tags: Vector Database RAG ANN Search
  • 最后活动时间: 2026-10-22

xerj ​

专为AI数据搜索设计的工具,能高效索引代码、文档和日志,支持RAG和向量检索,比grep节省40倍Token。

  • Stars: ⭐️ 15.7k
  • Tags: AI Search Vector Database RAG Elasticsearch
  • 最后活动时间: 2026-10-26

OpenSearch ​

开源分布式搜索引擎,支持向量相似度搜索,是构建RAG应用和AI检索系统的核心基础设施。

  • Stars: ⭐️ 13.9k
  • Tags: search-engine vector-search analytics distributed
  • 最后活动时间: 2026-10-25

nebula ​

开源的分布式图数据库,具备水平扩展和高可用特性。非常适合作为GraphRAG的底层存储,为复杂知识图谱检索和AI智能体提供强大的关系数据支持。

  • Stars: ⭐️ 12.5k
  • Tags: graph-database graphrag knowledge-graph distributed big-data
  • 最后活动时间: 2026-09-08

starrocks ​

StarRocks 是一款极速的开放式查询引擎,专为数据湖仓和亚秒级分析设计。它支持多维分析、实时分析及即席查询,广泛应用于大数据处理场景。

  • Stars: ⭐️ 12.2k
  • Tags: analytics database lakehouse mpp olap
  • 最后活动时间: 2026-10-25

manticoresearch ​

开源高性能搜索引擎数据库,支持全文检索和SQL查询,可作为RAG系统的检索后端,是Elasticsearch的轻量替代方案。

  • Stars: ⭐️ 12.1k
  • Tags: search-engine full-text-search database rag
  • 最后活动时间: 2026-10-25

lancedb ​

开发者友好的开源嵌入式向量数据库,专为多模态AI检索设计,支持语义搜索与相似度匹配。

  • Stars: ⭐️ 11.7k
  • Tags: vector-database semantic-search multimodal embeddings rag
  • 最后活动时间: 2026-10-21

bleve ​

现代化的 Go 语言文本/数值/地理空间/向量索引库,支持全文检索和向量搜索,适用于 RAG 和语义搜索场景。

  • Stars: ⭐️ 11.2k
  • Tags: search indexing vector-search full-text-search
  • 最后活动时间: 2026-10-14

orama ​

轻量级全文搜索引擎与RAG管道,支持向量搜索和混合检索,可在浏览器、服务器或边缘网络运行。

  • Stars: ⭐️ 10.6k
  • Tags: search-engine vector-database rag full-text-search
  • 最后活动时间: 2026-10-18

FalkorDB ​

基于GraphBLAS的超快图数据库,专为LLM知识图谱和GraphRAG场景优化。

  • Stars: ⭐️ 10.5k
  • Tags: Graph Database GraphRAG Knowledge Graph Real-time
  • 最后活动时间: 2026-10-22

oceanbase ​

高性能分布式数据库,支持事务、分析和AI工作负载,内置向量搜索能力,适用于RAG和AI应用场景。

  • Stars: ⭐️ 10.4k
  • Tags: Vector Database Distributed MySQL Compatible
  • 最后活动时间: 2026-10-23

databend ​

云原生数据仓库,内置向量搜索能力,支持分析、搜索、AI和Python沙盒,为AI Agent提供数据基础设施。

  • Stars: ⭐️ 9.5k
  • Tags: 向量数据库 数据仓库 Rust
  • 最后活动时间: 2026-10-22

paradedb ​

基于Postgres的弹性搜索引擎,支持全文检索、相似性搜索和稀疏向量,非常适合RAG应用场景。

  • Stars: ⭐️ 9.4k
  • Tags: postgresql search vector-database full-text-search similarity-search
  • 最后活动时间: 2026-10-25

deeplake ​

GPU原生、沙盒化的AI代理Postgres数据库,支持向量搜索和多模态数据管理,专为深度学习和大语言模型应用优化。

  • Stars: ⭐️ 9.3k
  • Tags: Vector Database Multi-modal AI Agents
  • 最后活动时间: 2026-05-21

utopia ​

全球首个开源企业级世界模型,结合时序知识图谱与RAG,为AI智能体提供记忆与语义搜索能力。

  • Stars: ⭐️ 8.5k
  • Tags: world-model knowledge-graph rag llm pgvector
  • 最后活动时间: 2026-10-26

mariadb ​

开源关系型数据库,现已集成向量检索功能,支持构建结合传统 SQL 与 AI 向量搜索的混合应用。

  • Stars: ⭐️ 8.4k
  • Tags: vector-database sql mariadb
  • 最后活动时间: 2026-10-22

sqlite-vec ​

一个可随处运行的 SQLite 向量搜索扩展,让本地数据库轻松支持向量检索,是构建轻量级本地 RAG 应用的理想选择。

  • Stars: ⭐️ 8.2k
  • Tags: sqlite vector-search embeddings rag
  • 最后活动时间: 2026-05-18

lance ​

面向多模态AI的开源湖仓格式,支持100倍更快的随机访问、向量索引和数据版本控制,与Pandas、DuckDB、PyTorch无缝集成。

  • Stars: ⭐️ 7.2k
  • Tags: Vector Storage Multimodal AI Data Format
  • 最后活动时间: 2026-10-26

vespa ​

高性能向量数据库和搜索引擎平台,支持大规模AI推理、RAG应用和实时推荐系统。

  • Stars: ⭐️ 7.1k
  • Tags: 向量数据库 搜索引擎 AI推理
  • 最后活动时间: 2026-10-25

RediSearch ​

Redis的强大查询与索引引擎,支持全文搜索、向量相似度搜索和聚合操作,是构建RAG系统和AI应用的理想向量数据库。

  • Stars: ⭐️ 6.2k
  • Tags: Vector Database Full-text Search Redis Module
  • 最后活动时间: 2026-10-22

helix-db ​

用Rust从零构建的开源图向量数据库,专为AI和RAG应用设计。

  • Stars: ⭐️ 6.2k
  • Tags: Vector Database Graph Database RAG Rust
  • 最后活动时间: 2026-10-25

riot ​

Go 语言编写的高性能分布式搜索引擎,支持全文检索与向量搜索,简单高效,适合构建智能检索与 RAG 应用。

  • Stars: ⭐️ 6.1k
  • Tags: go search-engine vector-search distributed
  • 最后活动时间: 2026-09-21

AliSQL ​

阿里巴巴开源的MySQL分支,支持向量存储与检索,适用于AI应用中的嵌入向量管理和相似性搜索场景。

  • Stars: ⭐️ 6.0k
  • Tags: mysql vector-database database sql
  • 最后活动时间: 2026-10-16

ann-benchmarks ​

近似最近邻算法基准测试平台,用于评估向量检索库性能,对RAG系统选型有重要参考价值。

  • Stars: ⭐️ 5.7k
  • Tags: nearest-neighbors benchmark vector-search ann similarity-search
  • 最后活动时间: 2026-07-10

hnswlib ​

轻量级的C++/Python库,用于快速近似最近邻搜索。常作为向量数据库的核心索引组件,在RAG和检索增强场景中表现出色。

  • Stars: ⭐️ 5.4k
  • Tags: hnsw vector-search nearest-neighbor ann
  • 最后活动时间: 2026-09-15

marqo ​

面向电商的多模态搜索引擎,支持图像和文本的智能检索与发现。

  • Stars: ⭐️ 5.0k
  • Tags: search-engine multi-modal machine-learning vector-search
  • 最后活动时间: 2026-09-03

SPTAG ​

微软开源的分布式近似最近邻搜索库,为大规模向量检索场景提供高质量的向量索引构建、搜索和分布式在线服务工具包。

  • Stars: ⭐️ 5.0k
  • Tags: vector-search approximate-nearest-neighbor ann similarity-search
  • 最后活动时间: 2026-10-19

infinity ​

专为LLM应用设计的AI原生数据库,支持密集向量、稀疏向量、张量和全文的极速混合搜索。

  • Stars: ⭐️ 4.7k
  • Tags: Vector Database RAG Hybrid Search
  • 最后活动时间: 2026-10-17

RuVector ​

基于Rust构建的高性能实时自学习向量图神经网络数据库,支持低延迟推理和ONNX运行时。

  • Stars: ⭐️ 4.6k
  • Tags: Vector Database GNN Rust Graph Neural Networks
  • 最后活动时间: 2026-10-26

objectbox-java ​

高性能轻量级向量数据库,专为Android和JVM平台设计,支持设备端AI应用和向量检索。

  • Stars: ⭐️ 4.6k
  • Tags: Vector Database Embedded Mobile
  • 最后活动时间: 2026-10-20

memgraph ​

开源图数据库,专为动态分析环境优化,支持GraphRAG和AI智能体应用场景。

  • Stars: ⭐️ 4.6k
  • Tags: graph-database graphrag ai-agent cypher stream-processing
  • 最后活动时间: 2026-10-24

LongMemory ​

为 LLM 应用打造的本地持久化长期记忆存储,兼容 Claude Desktop、GitHub Copilot、Codex 等客户端。基于嵌入向量与检索技术,让 AI 助手拥有跨会话的记忆能力。

  • Stars: ⭐️ 4.5k
  • Tags: llm ai-memory vector-database rag embeddings
  • 最后活动时间: 2026-10-18

typedb ​

强类型知识图谱数据库,支持逻辑推理和多态查询,适用于构建智能知识系统。

  • Stars: ⭐️ 4.5k
  • Tags: database knowledge-graph inference reasoning
  • 最后活动时间: 2026-10-24

OpenMemory ​

本地持久化记忆存储引擎,为LLM应用提供长期记忆与上下文检索能力。

  • Stars: ⭐️ 4.5k
  • Tags: Memory RAG Vector DB
  • 最后活动时间: 2026-08-30

crate ​

分布式SQL数据库,支持向量搜索和时序数据分析,兼容PostgreSQL协议,适用于AI应用的向量检索场景。

  • Stars: ⭐️ 4.4k
  • Tags: vector-database distributed sql time-series
  • 最后活动时间: 2026-10-26

USearch ​

高性能向量搜索引擎,支持多语言绑定,适用于语义搜索和相似性检索。

  • Stars: ⭐️ 4.3k
  • Tags: vector-search similarity-search nearest-neighbor semantic-search
  • 最后活动时间: 2026-10-18

Toshi ​

基于Rust的全文搜索引擎,支持索引和搜索功能,可用于RAG系统中的文档检索场景。

  • Stars: ⭐️ 4.3k
  • Tags: search-engine elasticsearch indexing rust
  • 最后活动时间: 2026-06-28

ravendb ​

ACID文档数据库,内置向量搜索、全文索引和时序数据支持,适用于AI应用的语义检索场景。

  • Stars: ⭐️ 4.0k
  • Tags: vector-search document-database nosql full-text-search
  • 最后活动时间: 2026-10-26

terminusdb ​

TerminusDB 是一款带版本控制的知识图谱数据库,支持时间旅行、分支合并、diff 与 Datalog 推理查询。可作为构建知识图谱与 AI 数据底座的强大基础设施。

  • Stars: ⭐️ 3.5k
  • Tags: knowledge-graph graph-database database datalog version-control
  • 最后活动时间: 2026-10-22

delta-rs ​

Delta Lake 的原生 Rust 库,提供 Python 绑定。适用于 AI/ML 数据管道中的大规模数据存储与管理。

  • Stars: ⭐️ 3.3k
  • Tags: delta-lake data-engineering rust python
  • 最后活动时间: 2026-10-26

LakeSoul ​

云原生Lakehouse框架,支持AI和BI应用的实时数据摄入、并发更新和增量分析。

  • Stars: ⭐️ 3.3k
  • Tags: lakehouse datalake pytorch spark streaming
  • 最后活动时间: 2026-10-25

hugegraph ​

高性能分布式图数据库,支持千亿级数据存储与检索,适用于知识图谱和AI推理场景。

  • Stars: ⭐️ 3.2k
  • Tags: graph-database knowledge-graph scalability
  • 最后活动时间: 2026-10-21

seekdb ​

AI原生搜索数据库,统一向量、文本、结构化数据,支持混合搜索和库内AI工作流。

  • Stars: ⭐️ 3.2k
  • Tags: vector-database ai-search hybrid-search embeddings
  • 最后活动时间: 2026-10-26

pgvectorscale ​

一个高性能的Postgres向量搜索扩展,基于DiskANN算法为pgvector提供补充,大幅提升向量检索的扩展性和性能。

  • Stars: ⭐️ 3.1k
  • Tags: postgres vector-database diskann pgvector vector-search
  • 最后活动时间: 2026-10-14

attu ​

专为 Milvus 向量数据库打造的最佳图形化管理界面。提供直观的可视化操作,极大降低向量数据库的管理与使用门槛。

  • Stars: ⭐️ 3.0k
  • Tags: attu milvus vector-database gui management
  • 最后活动时间: 2026-06-11

datasketch ​

高效的相似性搜索算法库,提供 MinHash、LSH、HNSW 等核心算法实现,广泛应用于 RAG 系统和向量检索场景。

  • Stars: ⭐️ 3.0k
  • Tags: lsh hnsw minhash similarity-search vector-search
  • 最后活动时间: 2026-10-10

nanoflann ​

轻量级C++11头文件KD树库,用于高维向量最近邻搜索,适用于RAG检索和点云处理场景。

  • Stars: ⭐️ 2.7k
  • Tags: kd-trees nearest-neighbor vector-search point-clouds
  • 最后活动时间: 2026-10-16

featurebase ​

基于位图的高性能分析数据库,专为ML应用优化,支持快速数据查询。

  • Stars: ⭐️ 2.6k
  • Tags: database bitmap analytics machine-learning sql
  • 最后活动时间: 2026-10-20

ArcticDB ​

高性能无服务器DataFrame数据库,专为Python数据科学生态系统构建。

  • Stars: ⭐️ 2.6k
  • Tags: database dataframe pandas big-data
  • 最后活动时间: 2026-10-26

bootcamp ​

Milvus官方实战教程,涵盖向量检索、RAG、多模态搜索等非结构化数据处理场景,配套完整实践案例。

  • Stars: ⭐️ 2.4k
  • Tags: RAG 向量数据库 Milvus 多模态
  • 最后活动时间: 2026-10-21

lucenenet ​

Apache Lucene.NET 是一个开源的全文检索库,由 C# 编写并从 Apache Lucene 项目移植而来。它为 .NET 生态系统提供了高性能、功能丰富的文本搜索能力。

  • Stars: ⭐️ 2.4k
  • Tags: lucene search csharp full-text-search
  • 最后活动时间: 2026-10-25

vearch ​

分布式向量搜索数据库,专为AI原生应用设计。支持混合搜索、文档检索和RAG场景,适用于大规模向量检索需求。

  • Stars: ⭐️ 2.3k
  • Tags: vector-database vector-search rag embeddings ai-native
  • 最后活动时间: 2026-07-27

VexDB-Lite ​

一个跨平台的轻量级向量数据库,可作为插件无缝集成到现有数据库中。

  • Stars: ⭐️ 2.3k
  • Tags: vector-database cross-platform plugin ai
  • 最后活动时间: 2026-08-25

duckdb-wasm ​

DuckDB的WebAssembly版本,可在浏览器中运行的高性能分析型数据库,适用于AI数据处理和RAG应用场景。

  • Stars: ⭐️ 2.2k
  • Tags: database webassembly analytics sql
  • 最后活动时间: 2026-10-25

matrixone ​

AI 原生 HTAP 数据库,内置向量搜索功能,可作为智能体的数据与记忆骨干。

  • Stars: ⭐️ 2.1k
  • Tags: Vector Database AI-Native HTAP
  • 最后活动时间: 2026-10-22

DiskANN ​

微软开源的高性能近似最近邻搜索库,基于图结构索引,支持大规模向量检索,适用于RAG场景。

  • Stars: ⭐️ 2.0k
  • Tags: Vector Search ANN Similarity Search
  • 最后活动时间: 2026-10-22

SeekStorm ​

高性能向量与词法搜索引擎,支持实时搜索、语义检索和混合查询,适用于AI应用中的RAG系统。

  • Stars: ⭐️ 1.9k
  • Tags: vector-search semantic-search search-engine rust
  • 最后活动时间: 2026-10-24

ladybug ​

LadybugDB 图数据库,支持 Cypher 查询语言,可用于构建代码知识图谱等知识管理场景。

  • Stars: ⭐️ 1.9k
  • Tags: graph-database cypher knowledge-graph database
  • 最后活动时间: 2026-10-22

VectorChord ​

Postgres中可扩展、高性能、磁盘友好的向量搜索扩展,pgvecto.rs的继任者。

  • Stars: ⭐️ 1.8k
  • Tags: vector-database vector-search postgresql llmops
  • 最后活动时间: 2026-08-06

tugraph-db ​

高性能图数据库,支持知识图谱构建和图神经网络应用,适用于RAG系统中的图数据存储与检索。

  • Stars: ⭐️ 1.8k
  • Tags: graph-database knowledge-graph cypher
  • 最后活动时间: 2026-05-11

jvector ​

先进的嵌入式向量搜索引擎,专为Java生态设计,支持ANN和KNN搜索。

  • Stars: ⭐️ 1.8k
  • Tags: vector-search ann similarity-search java
  • 最后活动时间: 2026-10-23

omnigraph ​

原生湖仓图引擎,支持Git风格的工作流和知识图谱管理。结合Apache Arrow和DataFusion提供高性能数据分析。

  • Stars: ⭐️ 1.7k
  • Tags: graph-database knowledge-graph lakehouse rust datafusion
  • 最后活动时间: 2026-10-25

vald ​

高性能分布式向量搜索引擎,支持近似最近邻搜索,适用于图像检索、相似度搜索等AI应用场景。

  • Stars: ⭐️ 1.7k
  • Tags: vector-search similarity-search kubernetes distributed
  • 最后活动时间: 2026-10-22

elassandra ​

Elassandra 将 Elasticsearch 与 Apache Cassandra 相结合,提供了一个无主节点、高可用的分布式搜索引擎。非常适合关键任务的大规模数据检索场景。

  • Stars: ⭐️ 1.7k
  • Tags: elasticsearch cassandra lucene search nosql
  • 最后活动时间: 2026-05-17

dingo ​

多模态向量数据库,支持结构化和非结构化数据的统一SQL查询,满足高并发和超低延迟需求。

  • Stars: ⭐️ 1.7k
  • Tags: vector-database embedding-search hybrid-search mysql-compatibility
  • 最后活动时间: 2026-09-23

solr ​

Apache Solr开源搜索引擎,提供强大的全文检索、分面搜索和分布式搜索能力,广泛用于RAG系统和AI应用的检索基础设施。

  • Stars: ⭐️ 1.7k
  • Tags: search-engine lucene nosql information-retrieval
  • 最后活动时间: 2026-10-25

VectorChord ​

PostgreSQL向量搜索扩展,pgvecto.rs的继任者,提供可扩展、快速且磁盘友好的向量检索能力。

  • Stars: ⭐️ 1.7k
  • Tags: vector-database postgresql vector-search rag
  • 最后活动时间: 2026-04-30

pixeltable ​

面向多模态AI工作负载的数据基础设施,集成特征存储、向量数据库和MLOps能力,简化数据处理流程。

  • Stars: ⭐️ 1.6k
  • Tags: 多模态 特征存储 向量数据库
  • 最后活动时间: 2026-10-25

voyager ​

轻量级近似最近邻搜索库,支持Python和Java,易于部署和使用。

  • Stars: ⭐️ 1.6k
  • Tags: nearest-neighbor-search hnsw vector-search similarity-search
  • 最后活动时间: 2026-10-20

向量搜索相关库、服务和研究论文的精选合集,涵盖KNN搜索、相似性搜索等核心技术。

  • Stars: ⭐️ 1.6k
  • Tags: vector-search knn-search similarity-search machine-learning
  • 最后活动时间: 2026-07-06

mcp-server-qdrant ​

Qdrant官方MCP服务器实现,为Claude、Cursor等AI工具提供向量检索能力。

  • Stars: ⭐️ 1.6k
  • Tags: mcp qdrant vector-search semantic-search
  • 最后活动时间: 2026-09-04

pgvector-python ​

为PostgreSQL数据库提供pgvector向量支持,方便存储和检索AI应用中的高维向量数据。

  • Stars: ⭐️ 1.5k
  • Tags: pgvector postgres vector-database python
  • 最后活动时间: 2026-07-06

lakekeeper ​

基于 Rust 编写的 Apache Iceberg REST 目录服务,提供数据访问控制与审计功能。专为现代数据湖仓和 AI 智能体设计,支持多引擎接入。

  • Stars: ⭐️ 1.5k
  • Tags: apache-iceberg data-lake rust lakehouse ai-agents
  • 最后活动时间: 2026-10-25

datalevin ​

简单快速的多功能Datalog数据库,支持向量存储和全文检索,AI原生设计。

  • Stars: ⭐️ 1.5k
  • Tags: vector-database datalog embedded-database fulltext-search
  • 最后活动时间: 2026-10-22

ejdb ​

轻量级嵌入式 JSON 数据库,支持丰富查询能力,可作为本地 AI 应用和知识库的数据存储组件。

  • Stars: ⭐️ 1.5k
  • Tags: database json nosql embedded vector-store
  • 最后活动时间: 2026-10-23

iceberg-rust ​

Apache Iceberg的高性能Rust实现,为大规模数据湖提供可靠的表格式存储,是机器学习数据管道的理想选择。

  • Stars: ⭐️ 1.4k
  • Tags: apache-iceberg data-lake rust ml-data
  • 最后活动时间: 2026-10-24

pymilvus ​

Milvus向量数据库的官方Python SDK,支持高效的向量相似度搜索和AI应用开发。

  • Stars: ⭐️ 1.4k
  • Tags: vector-database milvus python-sdk similarity-search
  • 最后活动时间: 2026-10-16

NGT ​

针对高维数据设计的近邻搜索库,结合了邻域图和树结构以实现高效的近似最近邻搜索。非常适合作为向量数据库的底层检索引擎。

  • Stars: ⭐️ 1.4k
  • Tags: approximate-nearest-neighbor-search knn-search vector-search high-dimensional-data
  • 最后活动时间: 2026-10-08

qdrant-client ​

Qdrant向量搜索引擎的Python客户端,用于AI应用中的向量存储与相似性检索。

  • Stars: ⭐️ 1.4k
  • Tags: qdrant vector-database vector-search vector-search-engine
  • 最后活动时间: 2026-10-22

infinispan ​

Infinispan 是一个开源的分布式内存数据网格平台,提供高度可扩展的 NoSQL 数据存储和语义搜索功能。它支持作为向量数据库使用,非常适合用于 AI 检索增强生成(RAG)场景。

  • Stars: ⭐️ 1.4k
  • Tags: vector-database nosql inmemory-cache semantic-search datagrid
  • 最后活动时间: 2026-10-19

supabase-swift ​

Swift SDK for Supabase,支持 pgvector 向量数据库查询,可用于 AI 向量检索和 RAG 应用开发。

  • Stars: ⭐️ 1.3k
  • Tags: supabase pgvector swift vector-database
  • 最后活动时间: 2026-10-23

endee ​

高性能向量数据库,单节点支持10亿向量,通过优化索引实现高效检索,适用于AI搜索场景。

  • Stars: ⭐️ 1.3k
  • Tags: Vector Database HNSW ANN AI Search
  • 最后活动时间: 2026-10-07

arcadedb ​

多模型数据库,支持SQL、图查询和向量嵌入搜索,适合RAG应用的相似性搜索场景。

  • Stars: ⭐️ 1.2k
  • Tags: Vector Database Multi-Model Graph Database
  • 最后活动时间: 2026-10-26

VectorDBBench ​

向量数据库性能基准测试工具,支持多种向量数据库的性能对比和成本效益分析。

  • Stars: ⭐️ 1.2k
  • Tags: benchmark vector-database vector-search performance
  • 最后活动时间: 2026-10-08

sqlite-vector ​

跨平台高效的SQLite扩展,为嵌入式数据库带来向量搜索能力,非常适合RAG和语义检索场景。

  • Stars: ⭐️ 1.2k
  • Tags: vector-database sqlite vector-search embeddings
  • 最后活动时间: 2026-09-11

pgGraph ​

为现有PostgreSQL数据提供开源图数据库超能力的扩展工具,支持关系图谱遍历与AI智能体框架集成。

  • Stars: ⭐️ 1.1k
  • Tags: graph-database postgres ai-agents rag rust
  • 最后活动时间: 2026-09-23

chromem-go ​

Go 语言嵌入式向量数据库,兼容 Chroma 接口,零第三方依赖。

  • Stars: ⭐️ 1.1k
  • Tags: vector-database golang embeddings chroma
  • 最后活动时间: 2026-09-06

neo4j-python-driver ​

Neo4j 官方 Python 驱动,通过 Bolt 二进制协议高性能访问图数据库。是构建知识图谱与 GraphRAG 应用的核心基础组件。

  • Stars: ⭐️ 1.1k
  • Tags: neo4j graph-database python cypher driver
  • 最后活动时间: 2026-10-15

raft ​

RAFT 提供了一系列 CUDA 加速的机器学习和信息检索基础算法与原语。它是构建高性能向量搜索和最近邻应用的底层核心组件。

  • Stars: ⭐️ 1.0k
  • Tags: cuda gpu machine-learning vector-search nearest-neighbors
  • 最后活动时间: 2026-10-24

PaCMAP ​

一种大规模降维技术,能够同时保留数据的全局和局部结构。非常适合用于高维向量数据的可视化与预处理。

  • Stars: ⭐️ 1.0k
  • Tags: dimensionality-reduction data-visualization machine-learning
  • 最后活动时间: 2026-07-20

pynndescent ​

基于Python的近似最近邻搜索库,通过近邻下降算法高效构建KNN图。是RAG架构中向量检索的常用高性能组件。

  • Stars: ⭐️ 972
  • Tags: approximate-nearest-neighbor-search knn-graphs nearest-neighbor-search vector-search
  • 最后活动时间: 2026-10-19

NornicDB ​

低延迟图向量数据库,支持HNSW搜索、LLM重排序推理和GPU加速,兼容Neo4j Bolt/Cypher和Qdrant gRPC驱动。

  • Stars: ⭐️ 916
  • Tags: vector-database graph-rag hnsw llm mcp-server
  • 最后活动时间: 2026-10-25

iai-personal-memory-engine ​

为AI智能体打造的本地持久化记忆引擎,能够记住用户细节并学习其工作习惯。支持MCP协议,可与Cursor、Claude Code等工具无缝集成。

  • Stars: ⭐️ 914
  • Tags: agent-memory ai-memory mcp-server vector-database local-first
  • 最后活动时间: 2026-10-23

cuhepy ​

GPU加速的同态加密Python库,支持Paillier与BFV方案,并实现加密状态下的最近邻搜索。适用于隐私保护的向量检索与安全AI推理等研究场景。

  • Stars: ⭐️ 910
  • Tags: homomorphic-encryption privacy-preserving cuda vector-search
  • 最后活动时间: 2026-10-06

azure-search-vector-samples ​

提供 Azure AI Search 向量搜索功能的代码示例集合,帮助开发者快速上手向量检索。

  • Stars: ⭐️ 909
  • Tags: azure vector-search embeddings rag
  • 最后活动时间: 2026-10-21

vectordb ​

Epsilla高性能向量数据库管理系统,专为AI应用和RAG场景设计。

  • Stars: ⭐️ 874
  • Tags: vector-database embeddings rag vector-search
  • 最后活动时间: 2026-10-04

cuvs ​

cuVS 是一个用于 GPU 上向量搜索和聚类的库,提供高效的向量相似度检索能力。它支持 CUDA 加速,非常适合大语言模型和机器学习场景中的信息检索。

  • Stars: ⭐️ 874
  • Tags: vector-search gpu cuda clustering similarity-search
  • 最后活动时间: 2026-10-26

meilisearch-js ​

Meilisearch 的官方 JavaScript/TypeScript 客户端,提供快速、相关的搜索体验,支持向量搜索功能,适用于 RAG 应用场景。

  • Stars: ⭐️ 869
  • Tags: meilisearch search javascript typescript vector-search
  • 最后活动时间: 2026-10-14

neighbor ​

为 Rails 应用提供简洁高效的最近邻搜索功能,支持基于地理位置或向量的相似度查询。

  • Stars: ⭐️ 850
  • Tags: nearest-neighbor-search rails ruby vector-search geolocation
  • 最后活动时间: 2026-09-06

pg_vectorize ​

为任意 Postgres 数据库提供全文搜索和语义搜索能力的扩展工具。

  • Stars: ⭐️ 832
  • Tags: postgres vector-database semantic-search rag
  • 最后活动时间: 2026-10-16

second-brain-cloudflare ​

基于Cloudflare免费层构建的自托管AI记忆层,支持Claude、ChatGPT等工具的语义检索。实现一次存储,多客户端智能调用。

  • Stars: ⭐️ 826
  • Tags: ai-memory mcp cloudflare-workers semantic-search vectorize
  • 最后活动时间: 2026-10-14

graph-data-science ​

Neo4j图数据科学库,提供丰富的图算法用于知识图谱构建和图神经网络应用。

  • Stars: ⭐️ 825
  • Tags: graph-algorithms neo4j knowledge-graph
  • 最后活动时间: 2026-10-20

automem ​

为AI助手提供持久化关系记忆的图向量内存服务,支持多种向量数据库。

  • Stars: ⭐️ 823
  • Tags: ai-memory graph-database vector-database qdrant
  • 最后活动时间: 2026-10-23

grafeo ​

高性能纯Rust图数据库,支持LPG和RDF两种图模型,可作为嵌入式库或独立数据库运行,适用于知识图谱和AI检索场景。

  • Stars: ⭐️ 817
  • Tags: graph-database knowledge-graph rust sparql cypher
  • 最后活动时间: 2026-10-22

reindexer ​

高性能嵌入式内存数据库,支持向量搜索、KNN搜索和全文检索,适用于AI应用中的相似度匹配场景。

  • Stars: ⭐️ 812
  • Tags: vector-database vector-search knn-search fulltext-search
  • 最后活动时间: 2026-10-22

vector-db-from-scratch ​

用 Rust 与 DataFusion 从零实现向量检索,覆盖 HNSW、IVFFlat 与乘积量化等 ANN 算法,适合深入理解向量数据库。

  • Stars: ⭐️ 809
  • Tags: Vector-Database Vector-Search HNSW Rust RAG
  • 最后活动时间: 2026-09-16

LucenePlusPlus ​

Lucene++ 是流行 Java Lucene 库的最新 C++ 移植版本,提供高性能、全功能的文本搜索引擎。为 C++ 开发者提供了强大的全文检索能力。

  • Stars: ⭐️ 802
  • Tags: lucene cpp search full-text-search
  • 最后活动时间: 2026-05-30

moss ​

面向生产级AI系统的极速检索层,无需向量数据库即可实现低于10毫秒的搜索延迟。完美适配浏览器、边缘计算、端侧及云端环境。

  • Stars: ⭐️ 798
  • Tags: ai-infra hybrid-search rag retrieval semantic-search
  • 最后活动时间: 2026-10-22

write-you-a-vector-db ​

基于CMU-DB BusTub系统的向量数据库教程,深入讲解向量数据库的核心原理与实现。

  • Stars: ⭐️ 794
  • Tags: vector-database database tutorial bustub
  • 最后活动时间: 2026-09-04

cuvs ​

NVIDIA 推出的 GPU 加速向量搜索与聚类库,专为大规模向量检索和相似性搜索优化。

  • Stars: ⭐️ 766
  • Tags: Vector Search GPU CUDA
  • 最后活动时间: 2026-05-28

vlite ​

基于NumPy构建的超快速向量数据库,轻量级且易于集成,适合RAG和语义搜索场景。

  • Stars: ⭐️ 765
  • Tags: vector-database numpy embeddings similarity-search
  • 最后活动时间: 2026-09-22

开源的梗图搜索引擎,基于机器学习实现语义搜索,可使用 Docker 在本地免费自托管。轻松私有化检索和管理你的表情包库。

  • Stars: ⭐️ 764
  • Tags: semantic-search vector-database machine-learning self-hosted docker
  • 最后活动时间: 2026-10-19

meilisearch-php ​

Meilisearch的PHP客户端SDK,提供强大的即时搜索功能。可轻松集成到应用中实现高效数据检索。

  • Stars: ⭐️ 760
  • Tags: meilisearch search php sdk
  • 最后活动时间: 2026-10-21

KiteSQL ​

Rust嵌入式关系数据库,原生支持向量嵌入和WebAssembly。

  • Stars: ⭐️ 755
  • Tags: database embeddings rust sql wasm
  • 最后活动时间: 2026-10-25

latticedb ​

专为AI/RAG应用设计的嵌入式单文件知识图谱数据库,支持向量搜索与全文检索。

  • Stars: ⭐️ 742
  • Tags: knowledge-graph vector-search rag embedded-database
  • 最后活动时间: 2026-10-15

mcp-server-elasticsearch ​

Elasticsearch MCP 服务器,支持向量数据库集成,为 AI 应用提供检索能力。

  • Stars: ⭐️ 725
  • Tags: mcp elasticsearch vector-database search
  • 最后活动时间: 2026-10-22

nucliadb ​

专为RAG设计的AI搜索数据库,支持向量搜索和语义检索。

  • Stars: ⭐️ 722
  • Tags: 向量数据库 RAG 语义搜索
  • 最后活动时间: 2026-10-22

HyperNetX ​

Python超图分析与可视化库,支持知识图谱和复杂网络结构分析,适用于RAG系统中的关系建模。

  • Stars: ⭐️ 720
  • Tags: hypergraph knowledge-graph python visualization
  • 最后活动时间: 2026-07-08

Raphtory ​

高性能时序图分析数据库,支持多线程向量化引擎,适用于知识图谱和AI数据分析场景。

  • Stars: ⭐️ 650
  • Tags: graph-database analytics temporal rust
  • 最后活动时间: 2026-10-26

UStore ​

高性能多模态数据库,支持向量搜索和KNN检索,可替代MongoDB、Neo4J和Elastic,提供Python、C++、Java等多语言绑定。

  • Stars: ⭐️ 645
  • Tags: vector-database vector-search knn-search multi-modal graph-database
  • 最后活动时间: 2026-09-15

vectra ​

Node.js本地向量数据库,提供类似Pinecone的功能,基于本地文件存储,适合构建RAG应用和语义搜索系统。

  • Stars: ⭐️ 633
  • Tags: vector-database embeddings nodejs rag local-storage
  • 最后活动时间: 2026-07-20

scikit-network ​

用于大规模图数据分析的Python库,提供高效的图算法和机器学习工具。

  • Stars: ⭐️ 632
  • Tags: graph-algorithms machine-learning python network-analysis
  • 最后活动时间: 2026-07-02

Memoria ​

专为AI智能体设计的安全记忆管理系统,确保数据完整性并减少模型幻觉。提供长期上下文的一致性维护能力。

  • Stars: ⭐️ 614
  • Tags: ai-agent memory-management llm database rag
  • 最后活动时间: 2026-10-22

meilisearch-python ​

Meilisearch的Python客户端SDK,提供强大的即时搜索功能。可轻松集成到应用中实现高效数据检索。

  • Stars: ⭐️ 606
  • Tags: meilisearch search python sdk
  • 最后活动时间: 2026-10-14

next-plaid ​

支持多向量搜索的工具库,涵盖从数据库到编码智能体的全方位检索能力。

  • Stars: ⭐️ 600
  • Tags: multi-vector vector-database agentic-rag search
  • 最后活动时间: 2026-10-10

sqlite-sync ​

基于CRDT的SQLite离线优先同步工具,支持SQLite Cloud、PostgreSQL和Supabase无缝对接。专为离线优先应用和AI智能体设计,确保无冲突、无数据丢失。

  • Stars: ⭐️ 587
  • Tags: sqlite crdt offline-first sync ai-agents
  • 最后活动时间: 2026-10-21

DBreeze ​

C# .NET嵌入式NoSQL数据库,支持向量搜索和语义搜索功能。

  • Stars: ⭐️ 582
  • Tags: vector-database nosql similarity-search c-sharp
  • 最后活动时间: 2026-10-16

typesense-js ​

Typesense 的 JavaScript/TypeScript 官方客户端,支持 typo 容错的快速搜索引擎,适用于 RAG 应用中的检索场景。

  • Stars: ⭐️ 573
  • Tags: search typescript typesense vector-search
  • 最后活动时间: 2026-10-21

memmesh ​

为AI智能体提供持久化且自我改进的记忆引擎。基于Rust构建,支持本地优先和MCP协议。

  • Stars: ⭐️ 564
  • Tags: memory rust mcp ai-agents
  • 最后活动时间: 2026-08-10

Go语言嵌入式向量搜索库,基于llama.cpp实现语义搜索和向量检索。

  • Stars: ⭐️ 561
  • Tags: vector-search semantic-search llamacpp embeddings
  • 最后活动时间: 2026-09-19

graphqlite ​

为 SQLite 扩展图数据库能力,支持 Cypher 查询语言与内置图算法,可构建知识图谱并服务 GraphRAG 场景。

  • Stars: ⭐️ 520
  • Tags: graph-database sqlite cypher knowledge-graph graph-rag
  • 最后活动时间: 2026-10-17

vsag ​

vsag 是一个用于相似性搜索的高效向量索引库,支持近似最近邻(ANN)查询。它为向量数据库和检索增强生成(RAG)应用提供了底层的基础设施支持。

  • Stars: ⭐️ 516
  • Tags: ann vector similarity-search vectordb indexing-library
  • 最后活动时间: 2026-10-22

milvus-sdk-java ​

Milvus 官方 Java SDK,帮助开发者轻松接入高性能开源向量数据库。适用于相似度搜索、语义检索与 RAG 等 AI 应用的构建。

  • Stars: ⭐️ 500
  • Tags: Milvus Java Vector-Database SDK Vector-Search Embeddings
  • 最后活动时间: 2026-10-13

未分类 (Others) ​

dolt ​

Dolt 是一个支持版本控制的 SQL 数据库,被誉为「数据界的 Git」。它非常适合 AI Agent 记忆存储和 AI 数据管理,提供完整的数据版本追踪能力。

  • Stars: ⭐️ 24.7k
  • Tags: sql-database version-control ai-database agent-memory
  • 最后活动时间: 2026-10-22

neo4j ​

业界领先的图数据库,为知识图谱和 GraphRAG 提供强大的关系数据存储与查询能力,助力 AI 应用深度理解数据关联。

  • Stars: ⭐️ 17.4k
  • Tags: graph-database knowledge-graph nosql
  • 最后活动时间: 2026-10-20

open-ontologies ​

面向可信企业本体与知识图谱的工程化验证平台,融合形式化推理、OWL/SHACL 与 MCP,助力构建 AI 原生知识基础设施。

  • Stars: ⭐️ 1.4k
  • Tags: Knowledge-Graph Ontology MCP OWL Reasoning
  • 最后活动时间: 2026-10-23

LinkedDataHub ​

低代码知识图谱应用平台,基于链接数据与语义网技术构建数据驱动应用,Apache 协议开源。

  • Stars: ⭐️ 632
  • Tags: knowledge-graph linked-data low-code rdf semantic-web
  • 最后活动时间: 2026-10-22