HyperCrawl

什么是HyperCrawl？

HyperCrawl 是一款零延迟网页爬虫，专为基于检索的 LLM 开发和 RAG 应用而设计。它旨在显著减少 RAG 系统的检索时间，最多可缩短 95%。它为机器学习工程师打造，通过消除域的爬取时间来提升检索过程，采用先进的方法创建一款新型的 ML 优先网页爬虫。

如何使用 HyperCrawl？

HyperCrawl 可通过 HyperAPI 用于基于网页和 JS 项目，或使用 pip 安装为 Python 库。它可以作为 API 提供，也可以作为开源的 Python 库使用，允许用户选择云端或本地运行。

HyperCrawl 的核心功能

异步 I/O 加快网页加载速度
并发管理，处理多个任务同时进行
高效资源管理，通过重用现有连接
已访问 URL 跟踪，避免重复处理
支持嵌套事件循环，与各种环境兼容

HyperCrawl 的使用案例

#1 为 LLM 应用开发强大的检索引擎
#2 构建 RAG（检索增强生成）系统
#3 爬取网站数据以训练机器学习模型
#4 快速索引网页内容以用于搜索应用