大数据时代的数据挖掘技术与应用

摘 要随着云计算、物联网的发展,“大数据”紧随其后,出现了现代化式的信息技术革命,大数据技术的应用就是在大量的、不同种类的数据中挖掘出有价值规律的信息。21世纪以来,大数据时代颠覆了以前的数据技术应用方式,当今社会的信息技术,数据挖掘技术无不在时刻改变着人们的日常生活、信息处理,因此更丰富化、多元化的信息课题研究显得越来越重要。它不仅能够帮助信息处理非常强大的逻辑功能,而且能消除信息资源之间的相互干扰、空间局限等。鉴于此种情况,文章结合大数据背景时代,提出了数据挖掘技术的相关应用问题。

【关键词】大数据 云计算 数据挖掘技术 应用

1 相关概念的简介

1.1 大数据的概念

2011年由麦肯锡研究院发布的《大数据:创新、竞争、生产力的下一个新领域》提出了有关大数据的概念,介绍了大数据已经融入到了人们生活的方方面面,成为人们生产运作最重要的影响因素。据美国发布的《大数据研究和发展倡议》资料显示,2011年一整年全世界的数据增加了1.8ZB,换句话说,相当于平均每个人至少拥有200GB的数据资源,并且这样的数据还呈递增形式的增长,这就说明了大数据的运用,已经成为有效提升人民生产水平和消费的一种手段,根据有关统计方法计算,目前这种数值还会以50%/年的速度快速增长。

1.2 数据挖掘

数据挖掘技术作为一个新型学科,起始于20世纪八十年代,与目前的效用相比,以已经出现了本质方面的差异,起初,大数据的研究主要是为了人工智能技术的开发,换句话说,数据挖掘要求的技术层面比较高,就是对数据进行创新、改造的过程,也即是,由于目标数据的隐蔽性,具有很大的挖掘潜力和挖掘价值,要借助操作者挖掘出有效的数据信息从一堆冗杂的、模糊的、随机的数据库中;数据挖掘在商业方面上的应用,就是从大量的数据中寻找出数据包含的信息规律以及信息价值,为决策者提供非常重要的知识凭据。

2 数据挖掘技术简述及数据信息分析方法

2.1 理论概述

随着信息网络数据的广泛应用以及快速发展,数据挖掘技术作为一种新兴的技术科学,不单单在商业领域生产和管理工作中得到充分利用,而且还能够融入到无程序要求、无规则、复杂的数据信息使用环境中。其目的在于采用技术手段,把存留、集聚在网络上的数据信息挖掘出来,进而处理、编辑成信息集合,以供人们查看、收录和捕捉应用。

2.2 基本分析方法

只有采用合适的分析方法、数据用途,系统探究的模式,才能延展、推广数据挖掘技术的应用表现,就能充分发挥出数据真实、本质的价值和应用影响。无论哪一种数据,只要深挖其信息资源,就能够多多少少的发现其内在规律和特点,或者由可能是相同的信息内容。比如,一些常见的信息分析方法有:

2.2.1 聚类分析法

这种方法就是通过一些不确定、抽象、无指向的数据信息,通过收集、整理分类、处理编辑,然后形成的具有特征统一的数据库。此种分析法非常常见,适合运用到各种数据信息中。

2.2.2 关联分析法

关联性影响存在于不同的数据之间,由于数据关联存在隐蔽性,很难被人力通过简单的分辨方法分析处理,而是需要根据相关信息的关联表现,制定相应的数据关联方案,以便完成带有某种目的性的信息处理任务,这种分析方法比较适用于任务复杂、信息处理要求高的信息管理工作。

2.2.3 特征性数据分析法

由于数据资源的广泛性以及普遍性,相关的网络数据所具有的特点、功能和性质越来越引起人们的重视,且被大量的挖掘出来。比如,人工神经网络相关的数据信息包括很多种类的数据信息,通过进行数据挖掘技术分析应用,借助计算机,实现了对于复杂模式的趋势分析;另外,遗传算法在评估其他算法的适合度方面应用非常广泛,利用生物进化原理,假设、虚拟信息的数据成长过程,构建带有虚拟性和真实性的资源信息;可视化技术是一种在数据挖掘中应用广泛的辅助技术,它采用图像、图形、动画等方面的手段,进行指导操作、引导挖掘以及表达结果。

3 大数据时代的数据挖掘的运用

3.1 数据准备

准备流程需要依附于研究者已经建立起长期且丰富数据资源的数据库,而根据这些无规则的原始数据进行相应的挖掘前的准备的工作。

3.2 数据挖掘

开展数据挖掘操作,需要根据挖掘对象的情况择选最优的计算方法,从而获取其中的规律性。

3.3 数据挖掘的模式评估研究

模式评估的对象主要是通过数据挖掘处理过程数据,而评估流程是了解、研究且取得其中数据的规则,然后对数据进行转变“翻译”成通俗易懂的语言,供人们去研究和思考。

3.4 数据挖掘的知识应用

知识应用是数据挖掘的最后一步,通常知识运用就是一种现实运用的过程,通过数据准备、挖掘、研究评估,最后将结果数据或者规律用于现实中,从而体现数据的本身的价值,这就是知识应用的内涵。

4 大数据时代的数据挖掘的应用领域

4.1 市场营销

作为数据挖掘技术被应用最多的领域,市场营销也是最早被使用的。在市场营销中的应用是,为了提高商品的业绩,采用挖掘用户的消费习惯以及消费特点进行分析,做出营销决策。当今社会,数据挖掘已经不局限超市购物等方面的市场营销形式,而是广泛应用到金融领域的方方面面。

4.2 科学研究

总所周知,在大量的科学研究中,分析、处理、使用大量的数据,已经观察数据的内在规律进行实验,从而寻找出相关的知识和规则,是进行科学研究的基本步骤。然而这些数据的挖掘和分析都要采用一定得算法,借助数据挖掘技术找出数据之间隐藏的内在规律。比如,DNA数据的分析,外空星体的探索等。

4.3 电信业

最近几年来,随着电信业的快速发展,电信业的服务和技术已经成为了一个十分巨大的混合载体,不仅仅包含市场关系,而且还关系到服务和技术。企业为了扩大生产,提高生产效率,在有效的资源整合及无缝连接的进程中,把大量的数据进行有效集合,从庞杂的数据信息中发现规律,已成为电信业非常关注的问题。而数据挖掘技术的应用,完美的解决了上述出现的问题,促进了电信业的良好发展。

参考文献

[1]何波.大数据时代的数据挖掘技术与应用[J].电子技术与软件工程,2015(17).

[2]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报,2014(3).

[3]欧阳柏成.大数据时代的数据挖掘技术探究[J].电脑知识与技术,2015(15).

作者单位

广东省民政职业技术学校 广东省广州市 510310