借助机器学习,对垃圾信息说“不”
七夕将至,你是否收到过电商店铺推送的打折促销短信?平时是否经常收到理财、贷款、购房等信息?如果你是苹果用户,那你是否有过半夜收到iMessage推送赌场、假货、股票以及色情信息的经历?
商家给安卓用户推送广告信息需要通过移动、联通等运营商,运营商会拦截掉一些非法信息,而针对苹果用户,商家甚至不法分子则可利用iMessage渠道通过互联网直接向用户推送垃圾信息,目前苹果公司尚未采取有效的筛选、拦截等手段。
近日,苹果官方终于发声,表示正在探索更先进的机器学习模型识别,过滤垃圾信息。机器学习模型如何过滤垃圾信息?又面临哪些技术难点呢?科技日报记者采访了相关专家。
作为人工智能的核心技术,机器学习是计算机模拟人类思考方式的一种学习行为,它让计算机变得“聪明伶俐”。“基于机器学习的垃圾信息过滤技术实际上是一个二元分类过程,机器学习模型需回答‘是’或‘不是’,以便将垃圾文本从大量信息中分离出来。”北京语言大学大数据与语言教育研究所所长荀恩东教授在接受科技日报记者采访时说,“首先应准备人工标注的数据,进而构建机器学习参数化模型,最后对其训练、测试,直至模型应用,解决实际问题。”
“目前市场上识别垃圾邮件、短信的机器学习模型绝大部分采用的是针对文本显式特征的分析和提取。”荀恩东解释,所谓“显式”特征,是指垃圾信息的关键词、表达形式、特殊符号、异体字、敏感词语表达方式等“外在”特征。将这些多元、离散的特征元素汇总,便可构成显式特征列表,进而构建模型对垃圾信息进行甄别。
“这种分类方式效率较高、成本较低、所依赖数据较少,但也存在适应性差,识别精度不高等不足之处。”荀恩东指出,如果垃圾信息发送方掌握了用户拦截系统的显式特征列表,便可对垃圾信息的敏感词汇作出相应调整,变换表达形式,从而有效规避拦截系统。因此分类器需要实时动态更新显式特征列表,即便如此,该列表元素数量也十分有限,导致分类器过滤效果不佳,精确度不高。
基于显式特征的分类方式“先天不足”,苹果公司有可能将目光投向隐式特征分类,即深度学习模型。荀恩东表示,深度学习模型可对海量数据的信息进行深度挖掘,从信息的语义和内容上对垃圾信息进行甄别。也就是说,同样一条推销短信,深度学习模型基于庞大的数据库,可分析出它的多种表达方式,从而做出更加准确的判断,仅靠改变文字形式无法逃脱深度学习模型的“火眼金睛”。深度学习模型省去了前期建立大量显示特征列表的工作,只需标注垃圾、非垃圾信息即可,不仅效率提高,识别精度也得到很大提升。
基于深度学习的垃圾信息过滤技术目前也面临诸多技术难点。复旦大学计算机科学技术学院张军平教授表示,虽然有大数据支撑,深度学习模型在很多方面还是无法像人一样有效分析和理解信息中的内容。例如,个别汉字的顺序颠倒不一定能影响阅读,然而深度学习模型并没有人脑这样“聪明”。另外,组合爆炸问题也是难点之一。垃圾信息涉及领域广泛,形式变化多端,大数据深度学习模型可能对已有的垃圾信息有效分类,但面对新出现的垃圾信息可能就会“蒙圈”。
“这需要借助类似长短时记忆网络或更新的一些技术,对深度学习模型进行定期更新。” 张军平认为,还可以考虑自然语言处理中的一些句与句的关系,进一步完善深度学习算法,从而改善其预测、分类能力。
相关阅读
-
02-03
-
11-16
-
10-20
-
09-27
-
08-17
-
05-17
推荐阅读
-
消费降级催生美业新机遇“只洗脸不卖货”的洗脸吧
近期,积累了20多年B端批发经验的1688平台宣布推出创新服务,包括零元下单、一件包邮等,彻底颠覆了其以批发为主、鲜少提供包邮服务的模式更多
2024-04-22 15:37:55
-
仲夏家年华,趣运动,盛京枪会勇士出征——记大家
秋意渐浓,醉意阑珊。大家人寿始终秉承因责任而生,守护大家美好生活的企业使命,弘扬长期价值主义、务实主义、创业者文化的企业精神,展现更多
2023-10-08 10:33:53
-
怦然心动,因你而起——大家人寿辽宁分公司第三届
为深入推进客户经营,用心服务,践行因责任而生,守护大家美好生活的企业使命及以客户为中心的经营理念。8月23日,大家人寿辽宁分公司与中更多
2023-08-29 13:35:52
-
与您相伴,一路向阳--阳光财险辽宁省分公司2023年
7 8全国保险公众宣传日活动期间,阳光财险辽宁分公司,面向社会公众开展了线上线下、内容丰富的金融宣教和健康公益服务活动。活动期间,阳更多
2023-07-07 15:06:13
-
阳光财险连续七年获评经营评价结果A类公司
近日,中国保险行业协会披露2021年度保险公司法人机构经营评价结果,披露的财产险公司共79家,阳光财险公司获评A类公司。至此,阳光财险已更多
2023-02-03 14:50:43
-
畅销四十余年,“特别年货”郁美净凭什么打动一代
随着社会活动逐步恢复正常,记忆中熟悉的春运场景再次重现。据交通部有关负责人介绍,预计2023春运客流总量达20 95亿人次。在北京工作的小更多
2023-01-26 19:08:01
-
平安养老险党委书记、董事长兼CEO甘为民:个人养
我国养老面临三大问题:一是钱从哪里来?二是服务谁来提供?三是健康支撑体系由谁来构建?其中‘养老钱从哪里来’是最首要、最迫更多
2022-11-16 15:47:47
-
十年磨剑锐意进取 ——平安养老险“养老梦”底气
党的十八大以来的十年,无疑是各行各业取得历史性成就的十年。正如习近平总书记在党的二十大报告中所提到的,这十年来我们深入贯彻以人民为更多
2022-11-16 15:10:05
财经热图
-
今日必看