一、什么是数据标注? 1.数据标注定义 数据标注是对未经处理的语音、图片、文本、视频等数据进行加工处理, 并转换为机器可识别信息的过程。原始数据一般通过数据采集获得, 随后的数据标注相当于对数据进行加工, 然后输送到人工智能算法和模型里完成调用。 2.为什么要做数据标注? 目前主流的机器学习方式是以有监督的深度学习方式为主,此种机器学习方式下对于标注数据有着强依赖性需求,未经过标注处理的原始数据多以非结构化数据为主,这些数据是不能被机器识别与学习的。只有经过标注处理后的数据,成为结构化数据才能被算法训练所使用的。 3.数据标注的主要类型 计算机视觉 包括矩形框标注、关键点标注、线段标注、语义分割、实例分割标注、ocr标注、图片分类、视频标注等。 语音工程 包括ASR语音转写、语音切割、语音清洗、情绪判定、声纹识别、音素标注、韵律标注、发音校对等。 自然语言理解 包括ocr转写、词性标注、命名实体标注、语句泛化、情感分析、句子编写、槽位提取、意图匹配、文本判断、文本匹配、文本信息抽取、文本清洗、机器翻译等。 自动驾驶点云 包括3D点云目标检测标注、3D点云语义分割标注、2D3D融合标注、点云连续帧标注等。 四.数据标注可以应用到哪些业务场景? 1.智能驾驶 智能驾驶汽车需要使用算法处理大量复杂场景,需要有海量准确高质量的数据对算法模型进行训练,车辆、行人、障碍物、天气、车道线、路标等车外环境识别算法,驾乘人员的疲劳监测、违规行为识别算法,智能座舱的语音交互、多模态交互技术都需要标注数据。 2.智能安防 智能安防是人工智能与信息技术结合的关键领域,需要高质准确的数据对技术进行训练升级。门禁生物识别、城市道路监控、车辆人流监测、违规行为监测、高空抛物监测、行人重识别等AI技术都需数据标注过程。 3.智能家居 以AI驱动智能家居,两者同向发展的AIoT是目前主流趋势。人脸识别、指纹识别门禁系统、非法闯入检测、扫地机器人、智能语音助手、智能终端控制等场景的AI技术都需要度数据进行标注。 4.智慧金融 AI为传统金融行业、零售行业赋能,简化商业购买流程。身份认证、智能客服、智能营销、智能风控、虚拟购物场景的商品图像、票据单据、人脸识别、指定语料等AI技术都需要数据标注支持。 5.智能互联网 智能互联网包括智能应用、文娱互动、智能搜索、内容审核等主要场景,聊天机器人、图文检索、多模态意图判断、情感分析、违法违规内容审核、智能美颜等AI技术需要数据标注支持。 6.智慧工业 智慧工业视觉的4大应用场景分别是测量、识别、引导、检测。包括复杂缺陷检测,安全帽反光衣识别、缺陷检测,烟火检测、违法施工检测、睡岗检测等算法都需要数据标注服务。 二、数据标注公司主要做什么? 定义 数据标注公司的团队构建 标注员 质检员 项目经理 商务 3. 数据标注公司类型 数据标注公司类型按模式分为自建团队模式和众包模式两类。 自建团队模式 自建标注工厂是指供应商直接组建全职标注团队,在接到任务后公司内部会派出合适的专业标注团队和项目经理执行。 众包模式 众包模式是指需求方直接在众包平台上发布任务,由个人或者标注团队接下执行。 4. 选择一家好的数据标注公司要看中哪些因素 判别数据标注公司是否优质可以依据其公司资质、业务能力、团队建设、技术壁垒、数据安全合规等方面。 公司资质即供应商资质 是否有ISO9001质量体系、ISO27001信息安全管理体系、ISO27701隐私信息管理体系,通过相关质量安全管理审查的标注公司一般拥有成熟的运维体系。 业务能力 是否支持多数据类型、多算法领域、高门槛、高量级的数据标注业务。 团队建设 是否有成熟的项目经理以及成熟的标注员、质检员;是否建立完善的培训体系和团队管理体系。 技术壁垒 是否有专什么是数据标注? 数据标注公司主要做什么?业的标注平台以及研发技术团队;是否能用技术保证标注效率。 数据安全合规 数据安全是否合法合规,即是否签署供应商保密协议,制定完善信息隐私保护方案等。 |
|
来自: yliu277 > 《大数据 数据中心》