一种基于Spark大数据平台的并行CRF方法-购物商城-保定市知识产权运营与公共信息服务平台

客服热线：19932581850

免费查询

一站式服务

首页政策法规知产运营专利转化会员信息地理标志第三方服务联系我们

一种基于Spark大数据平台的并行CRF方法

我有意向

次浏览

详细信息
成果简介
成果亮点
前景分析

成果名称：	一种基于Spark大数据平台的并行CRF方法	关键字：	rdd , spark , 训练 , crf , 数据 , 模型 , 并行 , 内存 , cn , token	应用行业：	计算机、通信和其他电子设备制造业
高新技术领域：	电子信息技术	所在地：	重庆市	知识产权类型：	发明专利
知识产权编号：	CN201810500016.7	成果体现形式：		成果属性：
成果所处阶段：	授权	成果水平：	国内先进	研究形式：
学科分类：		战略新兴产业：	新一代信息技术	课题来源：
第一完成单位名称：	重庆邮电大学	第一完成单位属性：		技术成熟度：
合作方式：	技术转让	交易价格(万)：	8.00	所属十强产业：

本发明请求保护一种基于Spark大数据平台的并行CRF算法，涉及数据挖掘技术和自然语言处理技术。首先，读取大规模数据集，进行数据初始化处理，将数据集划分为训练集和测试集。其次，获取特征模板，创建分布式训练数据集RDD和分布式特征模型RDD。再次，利用flatMap特征模型将训练数据转换成特征，通过整合相同的特征得到特征RDD，从而生成并行特征。然后，通过梯度计算更新特征权值，直到所有训练数据RDD更新完成，得到特征权值向量。最后，从HDFS上读取训练好的模型数据和测试数据，将测试数据执行特征抽取操作，利用特征权值向量计算得到最优预测标记序列，将输出存在HDFS中。本发明提高了CRF算法的高迭代效率。