HELM
HELM全称Holistic Evaluation of Language Models(语言模型整体评估)是由斯坦福大学推出的大模型评测体系,该评测方法主要包括场景、适配、指标三个模块,每次评测的运行都需要指定一个场景,一个适配模型的提示,以及一个或多个指标。它评测主要覆盖的是英语,有7个指标,包括准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率;任务包括问答、信息检索、摘要、文本分类等。
©️版权声明:本网站活动转载来源网络,转载目的仅用于网络信息分享,请用户注意自行甄别虚假信息,谨防受骗!
用户参与活动需在活动方活动规则之内,活动中不得涉及违法行为且与本文无关,用户任何违法行为均与本站无关。
活动中涉及的活动规则、活动奖励及最终解释权归主办方所有。
如有侵权,请迅速联系我们删除。
川公网安备 123456789号