多样任务真实数据，大模型在线购物基准Shopping MMLU开源｜NeurIPS&KDD Cup 2024

谁是在线购物领域最强大模型？也有评测基准了。

基于真实在线购物数据，电商巨头亚马逊终于“亮剑”——

联合香港科技大学、圣母大学构建了一个大规模、多任务评测基准Shopping MMLU，用以评估大语言模型在在线购物领域的能力与潜力。

一直以来，想要完整建模在线购物相当复杂，主要痛点是：

• 多任务性：在线购物中存在多样的实体（例如商品、属性、评论、查询关键词等）、关系（例如关键字和商品的匹配度，商品和商品之间的兼容性、互补性）和用户行为（浏览、查询、和购买）。

对这些实体、关系和行为和联合建模与理解构成一个复杂的多任务（multi-task）学习问题。

• 少样本性：在线购物平台会不断面临新用户、新商品、新商品品类等带来的冷启动（cold-start）场景。在冷启动场景下，在线购物平台需要解决少样本（few-shot）学习问题。

不过，诸如GPT，T5，LLaMA等的大语言模型（LLM）已经展现出了强大的多任务和少样本学习能力，因而有潜力在在线购物领域中得到广泛应用。

而为了进一步找出最强、最具潜力的LLM，测试基准Shopping MMLU应运而生——

与现有数据集相比，Shopping MMLU覆盖了更多的能力（四项）和任务（57个）。

同时，基于Shopping MMLU，亚马逊举办了KDD Cup 2024数据挖掘竞赛，吸引了全球超过500支队伍参赛。

广泛的能力和任务覆盖

为了全面、充分评估大语言模型在在线购物领域中的能力，研究首先分析了在线购物领域的独特性：

• 特定领域的短文本：在线购物中存在大量的特定领域名词，例如品牌、产品名、产品线等。此外，这些特定领域名词往往出现于短文本中，例如查询关键词、属性名-值对等。因此，在缺乏上下文的短文本中理解特定领域名词，是在线购物领域的一个独特挑战。
• 商品的隐含知识：大部分商品都隐含特定的知识，例如AirPods使用蓝牙连接，不需要转接线；碳纤维制品一般重量很轻等。如何准确理解不同商品隐含的知识并且进行推理，是在线购物领域的另一个独特挑战。
• 异质且隐式的用户行为：在线购物平台上存在多种多样的用户行为，例如浏览、查询、加购物车、购买等。这些行为大部分都不以语言表达，因此如何全面理解这些异质的用户行为，是在线购物所必须解决的问题。
• 多语言任务：在线购物平台往往在不止一个地区运营，因此需要模型能同时理解多种语言描述下的商品和用户问题。

基于以上分析，研究构造了Shopping MMLU，覆盖四项在线购物能力，共计57个任务：

• 在线购物概念理解
• 在线购物知识推理
• 用户行为理解
• 多语言能力

下表可见，Shopping MMLU相比现有数据集覆盖了更多的能力和任务。

能力和任务构成如下图所示。

Shopping MMLU大部分由真实的亚马逊在线购物数据构造，并且经过人工检验，尽可能排除低质量数据，例如标注错误，缺乏必要信息等。

部分问题示例如下。

主流大语言模型成绩单

研究选取了共27个主流大语言模型进行实验分析，其中包括：

• 闭源模型（Claude-3, Claude-2, GPT）
• 开源通用领域模型（LLaMA2、LLaMA3、QWen、Mistral）
• 开源特定领域模型（eCeLLM，经过在线购物领域数据进行微调）

实验结果如下表所示。

研究发现，虽然闭源模型仍然处于领先（例如Claude-3 Sonnet整体排名第一），但开源模型已经能够赶上闭源模型的性能（例如QWen和LLaMA3）。

此外，特定领域模型eCeLLM并未在同参数量级下取得最好成绩，说明Shopping MMLU是一个有相当难度的评测基准，无法通过简单的微调取得好成绩。

如何打造在线购物领域大模型

基于Shopping MMLU，研究分析常用的大模型增强手段，进一步探究如何打造强大的在线购物领域大模型。

首先，如下图所示，模型在不同能力和任务上的得分高度正相关。这说明了在线购物领域的不同任务之间存在共同的知识，可以使用大语言模型进行整体性的建模和能力提升。

其次，如下图所示，模型的Shopping MMLU得分和模型在通用大模型基准测试的得分（Open LLM Leaderboard）同样高度相关。

另外，随着同一个模型家族内模型增大，其Shopping MMLU得分同样增加。

这表明大语言模型的通用能力可以很好地迁移到在线购物领域中，构造特定领域大模型的基础是强大的通用能力。

随后，研究分析了微调对模型在Shopping MMLU得分的影响。

通用领域的微调一般对模型在Shopping MMLU上有提升。不过，这一结论也与基础模型的能力，微调的数据质量等因素存在关系。

例如，在LLaMA2-70B上，研究观察到经过微调的LLaMA2-70B-chat得分低于LLaMA2-70B，而在LLaMA3-70B上没有观察到这一现象。

可能的原因是，相对较小的微调数据使得LLaMA2-70B过拟合，导致通用能力的部分丢失，进而导致Shopping MMLU上得分下降。

反之，LLaMA3使用了更高质量的微调数据，所以能够保留通用能力，同时增强模型回答问题的能力，得到更高的分数。

特定领域微调（如eCeLLM）并未能在Shopping MMLU上取得最高得分。

为了探究其中原因，研究测试了eCeLLM与其基础模型在通用能力上的对比。结果表明，经过特定领域微调的eCeLLM相比其基础模型的通用能力一般有所下降。

这可能是导致eCeLLM未能取得最高得分的原因，也同时强调了通用能力对于对特定领域的重要性。

总结

Shopping MMLU是一个针对大语言模型和在线购物领域设计的评测指标。其包含广泛的任务和能力覆盖（4项重要能力，共计57个任务），可以全面评估大语言模型在在线购物领域的能力和潜力。

Shopping MMLU基于亚马逊的真实购物数据打造，经过人工筛选，保证数据质量。基于Shopping MMLU，研究展开了大量实验分析，为这一领域后续的研究和实际应用提供了有价值的结论。

目前，Shopping MMLU以及其对应的资源全部开源并将持续维护，方便研究人员和开发者进行深入探索和应用。

Shopping MMLU的数据以及对应评测代码已经于GitHub公开。

同时，为了构造开放、开源的评测体系，研究基于Shopping MMLU建立了一个排行榜。

官方表示，Shopping MMLU欢迎新模型加入排行榜，如果有兴趣的话可以于GitHub上与Shopping MMLU维护者进行联系。

论文：
https://arxiv.org/pdf/2410.20745
数据及评测代码：
https://github.com/KL4805/ShoppingMMLU
KDD Cup 2024 Workshop及获奖队伍解法：
https://amazon-kddcup24.github.io/
评估榜单：
https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard