一种基于Spark的高维稀疏文本数据聚类方法-购物商城-保定市知识产权运营与公共信息服务平台

客服热线：19932581850

免费查询

一站式服务

首页政策法规知产运营专利转化会员信息地理标志第三方服务一网通办信息服务

一种基于Spark的高维稀疏文本数据聚类方法

我有意向

次浏览

详细信息
成果简介
成果亮点
前景分析

成果名称：	一种基于Spark的高维稀疏文本数据聚类方法	关键字：	矩阵 , 稀疏 , 数据 , spark , 样本 , laplace , rdd , 分布式 , 向量 , 聚类	应用行业：	计算机、通信和其他电子设备制造业
高新技术领域：	电子信息技术	所在地：	重庆市	知识产权类型：	发明专利
知识产权编号：	CN201610988558.4	成果体现形式：		成果属性：
成果所处阶段：		成果水平：	国内先进	研究形式：
学科分类：		战略新兴产业：	新一代信息技术	课题来源：
第一完成单位名称：	重庆邮电大学	第一完成单位属性：		技术成熟度：
合作方式：	请选择...	交易价格(万)：	2.00	所属十强产业：

本发明请求保护一种基于Spark的高维稀疏文本数据聚类方法，包括步骤：用RDD读入数据集；并用RDD接口设计出分布式稀疏向量集；分布式稀疏向量集与其所在结点的完整数据集计算相似度，按编号抽象为相似矩阵。将存放的相似矩阵对称化，并求其归一化形式和Laplace矩阵形式。4、利用SVD分解步骤3中归一化Laplace矩阵，5、步骤4构建的新矩阵作为样本输入到K‑means模型进行训练。6、利用建立的模型对测试集进行聚类。本发明提高了传统谱聚类算法在大数据集下的运算性能。