Open LLM Leaderboard 是由Hugging Face推出的一个平台，用于追踪和排名开源大型语言模型（LLMs）和聊天机器人。该排行榜基于多个基准测试，包括ARC、HellaSwag和MMLU等，并允许用户根据模型类型、精度、架构等选项进行过滤。此外，Open LLM Leaderboard还引入了开放式问题评估方法，以消除传统选择题中的固有偏见和随机猜测。 该排行榜不仅提供了一个清晰、客观的模型性能评估标准，还通过严格的基准测试和公平的评分系统，反映了不同LLMs的真实能力。用户可以在Hugging Face平台上访问和使用这个排行榜，以便更好地了解当前大模型的发展状况并进行优化。

PubMedQA 是一个生物医学研究问答（QA）数据集，旨在通过相应的摘要以是/否/可能的方式回答研究问题。该数据集从PubMed摘要中收集而来，包含了1K个专家标注的问题、61.2K个未标注的问题和211.3K个人工生成的QA实例。PubMedQA的任务是使用这些摘要来回答研究问题，例如术前他汀类药物是否能减少冠状动脉旁路移植术后的心房颤动。 此外，PubMedQA是第一个需要对生物医学研究文本进行推理，特别是其定量内容的问答数据集。该数据集由匹兹堡大学和卡内基梅隆大学等机构提出，并在2019年的会议论文集中发表。

Chatbot Arena是由伯克利大学主导团队LMSYS Org发布的一个基准平台，用于大型语言模型（LLM）的对抗评测。该平台采用匿名和随机的方式，让不同的大型模型进行对抗评测，并通过众包方式收集用户反馈和评分。Chatbot Arena使用Elo评分系统，这是一种在国际象棋等竞技游戏中广泛使用的评分方法，以确保评测的客观性和公正性。 Chatbot Arena不仅是一个评测平台，还提供了一个开放的社区驱动的环境，用户可以通过投票来评估不同模型的表现。此外，该平台还支持多模态评测，允许用户与视觉-语言模型进行交互并进行比较。总的来说，Chatbot Arena已成为全球业界公认的基准标杆，广泛应用于大型语言模型的开发和评估。

Artificial Analysis 是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

SuperCLUE（中文通用大模型综合性测评基准），是针对中文可用的通用大模型的一个测评基准。 它主要要回答的问题是：在当前通用大模型大力发展的情况下，中文大模型的效果情况。包括但不限于：这些模型哪些相对效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何？它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。SuperCLUE，是中文语言理解测评基准（CLUE）在通用人工智能时代的进一步发展。 目前包括三大基准：OPEN多轮开放式基准、OPT三大能力客观题基准、琅琊榜匿名对战基准。

SuperCLUE：通用中文模型的综合基准测试