给一段新闻标题文本,自动判断它属于哪个类别(如财经、体育、游戏、教育等共10类),然后把分类好的内容"投递"到对应的新闻频道中。
核心流程:
- 文本输入
- 文本预处理(分词等)
- 模型预测分类
- 输出类别
- 投递
技术方案:
- FastText: 轻量级深度学习,Facebook开源。 准确率 87%.
- BERT: 预训练大模型微调,效果最好,准确率92%.
文本分类
文本分类是自然语言处理(NLP)中最基础也最常用的任务之一。给定一段文本,让机器自动判断它属于预定义的哪个类别。
- 二分类:如"垃圾邮件检测"(是垃圾/不是垃圾)
- 多分类:如本项目的"新闻分类"(10个类别选1个)
- 多标签分类:一篇文章可以同时属于多个类别