新闻资讯

通用认知智能大模型评测体系发布 为大模型健康发展提供指引

2023-06-06 09:37:51   来源:经济参考报   作者:汪海月 郭倩   浏览:162 评论(0


  6月3日,以“AI大模型时代的长三角数字化之路”为主题的长三角企业家联盟产业数字化峰会在安徽省合肥市举行。会上,认知智能全国重点实验室、中科院人工智能产学研创新联盟和长三角人工智能产业链联盟共同发布《通用认知智能大模型评测体系》,旨在形成一套覆盖多任务的大模型能力客观评测体系,引导中国认知大模型技术和产业健康发展。

  当前,伴随着认知大模型带来的技术阶跃和快速进化,人工智能在全球掀起新浪潮,国产大模型呈百花齐放态势,大模型的度量和评价成为重要关注点。一套覆盖科学系统、覆盖多维度多任务的客观评测体系,既可以综合判断现阶段的技术进展,也能够指引通用认知大模型多维度的发展路径。

  针对现实需求,认知智能全国重点实验室牵头设计,与中国科学院人工智能产学研创新联盟和长三角人工智能产业链联盟一起,从产学研源头技术创新和产业链应用落地两方面出发,组织多轮评测标准研讨会议,邀请中国科学院科技战略咨询研究院、寒武纪、科大讯飞等产学研各界代表探讨交流,共同形成了《通用认知智能大模型评测体系》。

  记者获悉,通过联合讨论最终制定的评测体系,根据底层认知智能能力的智能涌现,对通用认知智能大模型的能力进行分析,制定生成类通用认知智能大模型的评测标准与评测方法,实现更科学地衡量通用认知智能大模型各个方面的能力和水平。

  据介绍,本次发布的评测体系覆盖内容生成、语言理解、知识问答、逻辑推理、数学能力、编程能力、多模态7大能力维度,共计481个细分任务类型,力求为大模型的研究、行业标准的制定提供参考和借鉴。

  “下一步,我们希望与联盟单位基于通用评测体系,共同推动行业评测方案落地,让认知大模型技术真正解决社会刚需。”认知智能全国重点实验室副主任王士进说。


文章关键词: 智能 评测
返回顶部 关闭