AutoArena

什么是AutoArena？

AutoArena 是一个开源工具，旨在使用 LLM 评审者自动化评估生成式 AI 系统的对比。它允许用户快速、准确地生成比较不同 LLM、RAG 设置或提示变体的排行榜。用户可以根据具体需求微调自定义评审者。AutoArena 通过自动化的对抗评判，促进了对 LLM、RAG 系统和生成性 AI 应用的可信评估。

如何使用 AutoArena？

使用 `pip install autoarena` 在本地安装 AutoArena。定义您的输入（用户提示）和输出（模型响应），然后使用该工具运行对比评估，由 LLM 评审者对您的系统进行排名。可通过 autoarena.app 在 AutoArena Cloud 上与团队成员协作。

AutoArena 的核心功能

使用 LLM 评审者进行自动化对抗评估
生成比较 LLM、RAG 设置和提示变体的排行榜
自定义评审者的微调
计算 Elo 分数和置信区间
与 GitHub 集成以支持 CI/CD
处理并行化、随机化和速率限制

AutoArena 的使用案例

#1 评估不同的 LLM，以确定特定任务的最佳模型。
#2 比较各种 RAG 设置，以优化检索和生成性能。
#3 测试不同的提示变体，以确定最有效的提示。
#4 在 CI 中阻止坏的提示变更、预处理或后处理更新，或 RAG 系统的更新。
#5 跟踪新系统版本与旧版本的性能改进。