
文章主要内容总结本文聚焦于利用大型语言模型(LLMs)解决应用用户反馈分类的挑战,传统方法依赖有监督机器学习,但受限于标注数据集的规模和质量。研究通过三个核心实验评估了4种先进LLMs(GPT-3.5-Turbo、GPT-4o、Flan-T5、Llama3-70b)的性能:LLMs在用户反馈分类中的基础能力:在零样本设置下,LLMs对不同来源(应用商店、X平台、论坛)和分类方案的用户反馈进行分类,结果显示其在粗粒度分类(如“bug报告”“功能请求”“其他”)中表现较好,但细粒度分类效果不佳。粗粒度分类方案的影响:将数据集统一为“bug报告”“功能请求”“其他”的粗粒度方案后,LLMs的分类准确性显著提升,尤其在应用商店数据集上;但X平台和论坛数据的表现仍不理想。LLMs用于数据集增强:利用多个LLMs的共识标注数据,增强人工标注的训练集,发现这能有效提升基于Transformer的分类器(如DistilBERT)的性能,且通用数据与特定应用数据的增强效果差异不显著。文章创新点全面评估LLMs在用户反馈分类中的适用性:首次系统对比了4种LLMs在8个不同来源(应用商店、社交平台、论坛)和分类方案(细粒度、粗粒度)下的表现,揭示了分类方案粒度对LLMs性能的关键影响。提出基于LLMs共识的数据集增强方法:证明通过多个LLMs的共识标注数据增强训练集,可有效解决标