互联网的发展普及,改变了公众获取资讯的方式。而互联网平台出现内容井喷、信息爆炸,也使得内容安全风险日益增加,不断威胁互联网内容生态的健康发展。同时,运营者、开发者、平台等多方也开始对内容体验、内容安全提出更高的要求。
为了帮助开发者更好地理解、防控内容安全风险,腾讯继推出“珊瑚内容安全助手”小程序后,现通过「微信开放社区·服务平台」正式上线“珊瑚安全”API,将信息安全优势能力开放给更多的小程序开发者,帮助发现图片、文字内容里的恶意内容,提供更精细、更高效的内容安全服务。
精细化内容安全能力,向小程序开发者开放
“珊瑚安全”API目前为开发者提供图片内容安全、文本内容安全两大服务,支持对用户在各种场景上传的图片、文本内容进行识别,开发者可按需选用色情、赌博、暴恐等恶意内容识别服务,并获取到命中的恶意类型、风险概率等详细信息,帮助开发者更精细化地做好内容审核工作。
图片内容安全
图片内容安全基于腾讯海量数据资源和深度学习技术,为用户提供图片内容的智能审核服务,不仅能帮助运营者、开发者降低内容违规风险,而且能大幅度节省人工审核成本,保护业务健康发展。
在用户头像、社区发图、相册制作、直播封面、信息流、电商、游戏等图片审核应用场景中,该能力支持对色情、赌博、暴力恐怖等恶意内容进行识别,开发者可根据需要选用相应的识别服务,并获取到命中恶意类型、风险概率等详细信息。
文本内容安全
文本内容安全接口能够识别文本信息中的色情、暴恐等恶意内容,帮助运营者及时、精准地防范违规风险。
该功能基于10万级大规模敏感词库,结合多种文本对抗方法,运用深度学习技术,高效识别高危有害内容。同时还会根据大规模语料和实时反误杀系统,不断更新迭代,确保效果持续提升。
在用户昵称、社区评论、弹幕、文章内容等文本审核应用场景中,该能力可分级、分类识别文本恶意,并识别文本中涉及恶意的关键词。
助力开发者,维护健康平台生态
目前,微信小程序日活跃账户数已超3亿,与微信一起“创造”的小程序及小游戏开发者已超150万。微信生态的繁荣发展,需要运营者、开发者和平台的共同努力。
随着小程序用户的日益增多,开发者在用户内容审核方面的投入也日益繁重。
针对开发者在内容安全审核上的痛点,腾讯于2019年6月推出微信首个移动端安全鉴别工具“珊瑚内容安全助手”小程序,让运营者、开发者可以随时随地在小程序内检验文字、图片的合规性,对内容识别的效果进行体验,以及对自己的产品进行风险自测。
“珊瑚内容安全助手”小程序让运营者、开发者去体验和理解内容安全风险,而“珊瑚安全”API则是让运营者、开发者实现接入内容安全服务。
“珊瑚安全”API基于腾讯云AI、“云鸮”等内部优势能力封装,通过微信开放社区向开发者输出。
腾讯安全专家表示,未来“珊瑚内容安全助手”将会继续加强识别能力、丰富识别类型,在如今对图片、文字的识别能力基础上,增加对视频内容的识别能力。此外,“珊瑚内容安全助手”小程序内将增加用户反馈入口,开发者可随时通过入口提交反馈。
目前,“珊瑚安全”API已经对接微信服务市场,包括“小年糕”“小打卡”“票圈长视频”“有车群空间”等小程序现已接入使用。
“小年糕”小程序团队表示,在有害内容管控方面,微信为开发者提供了一系列工具,帮助开发者自动化地筛选有害信息,防止有害信息的过度泛滥,不仅为开发者节省了时间,也有力促进了行业的内容安全。
“珊瑚安全”API将不仅提高开发者的内容审核能力,极大程度节约开发者在内容安全上投入的精力和成本,后续亦将重点提升适用微信生态安全要求的能力,共建健康繁荣的平台生态。
------------
【有客多】是花儿绽放上市品牌旗下的微信小程序开发工具,制作过程无需代码,可视化拖拽即可,提供海量行业小程序模板,一键生成微信小程序,诚招微信小程序代理。