好文章,需要你的鼓励
Salesforce研究团队发布开源工具包MCPEval,基于模型上下文协议(MCP)架构评估AI智能体工具使用性能。该工具突破传统静态测试局限,通过全自动化流程收集详细任务轨迹和协议交互数据,为智能体行为提供前所未有的可视化分析。MCPEval能快速评估MCP工具和服务器,生成综合评估报告,为企业智能体部署提供可操作的改进建议。
清华大学团队推出AnyCap项目,通过轻量级"即插即用"框架解决多模态AI字幕生成缺乏个性化控制的问题。该项目包含模型、数据集和评估基准,能让现有AI系统根据用户需求生成定制化字幕,在不重训基础模型的情况下显著提升控制能力,为AI内容创作的个性化发展奠定基础。
月之暗面Kimi K2技术报告:解读万亿参数的智能体模型(含K2与DeepSeek R1对比)
耶鲁大学团队开发了全球首个AI科学实验设计评估系统ABGEN,测试了18个先进AI模型设计消融实验的能力。研究发现最好的AI系统得分4.11分,仍低于人类专家的4.80分,但在人机协作模式下表现显著改善。研究还发现现有自动评估系统可靠性不足,建立了元评估基准ABGEN-EVAL。这项研究为AI在科学研究中的应用提供了重要评估框架。