C-Eval 是一个全面的中文基础模型评估套件，由上海交通大学、清华大学和爱丁堡大学的研究人员在2023年5月份联合推出。它旨在评估大规模语言模型（LLM）的知识和推理能力，包含13948个多项选择题，涵盖了52个不同的学科和四个难度级别：初中、高中、大学和专业。 C-Eval的核心特点在于其多层次多学科的设计，能够全面评估大模型的语言理解、生成能力和逻辑推理等多维度性能。此外，C-Eval不仅用于评测模型的性能，还旨在辅助模型开发，帮助开发者科学地使用该评测工具进行模型迭代。 C-Eval是一个权威的中文AI大模型评测数据集，适用于考察大模型的知识和推理能力，并且在全球范围内具有较高的影响力。

PubMedQA 是一个生物医学研究问答（QA）数据集，旨在通过相应的摘要以是/否/可能的方式回答研究问题。该数据集从PubMed摘要中收集而来，包含了1K个专家标注的问题、61.2K个未标注的问题和211.3K个人工生成的QA实例。PubMedQA的任务是使用这些摘要来回答研究问题，例如术前他汀类药物是否能减少冠状动脉旁路移植术后的心房颤动。 此外，PubMedQA是第一个需要对生物医学研究文本进行推理，特别是其定量内容的问答数据集。该数据集由匹兹堡大学和卡内基梅隆大学等机构提出，并在2019年的会议论文集中发表。

SuperCLUE：通用中文模型的综合基准测试

中文大模型能力评测榜单：目前已囊括115个大模型，覆盖chatgpt、gpt4o、百度文心一言、阿里通义千问、讯飞星火、商汤senseChat、minimax等商用模型， 以及百川、qwen2、glm4、yi、书生internLM2、llama3等开源大模型，多维度能力评测。不仅提供能力评分排行榜，也提供所有模型的原始输出结果！

Artificial Analysis 是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。FlagEval（天秤）创新构建了“能力 - 任务 - 指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。目前已推出语言大模型评测、多语言文图大模型评测及文图生成评测等工具，并对广泛的语言基础模型、跨模态基础模型实现了评测。后续将全面覆盖基础模型、预训练算法、微调 / 压缩算法等三大评测对象，包括自然语言处理（NLP）、计算机视觉（CV）、音频须（Audio）及多模态（Multimodal）等四大评测场景和丰富的下游任务。 FlagEval 是智源 FlagOpen 大模型开源技术体系的重要组成部分。FlagOpen 旨在打造全面支撑大模型技术发展的开源算法体系和一站式基础软件平台，支持协同创新和开放竞争，共建共享大模型时代的“Linux”开源开放生态。