大数据处理[编辑]

大数据处理流程：

   大数据处理一：采集

    大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
    在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

   大数据处理二：导入/预处理

    虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
   导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

   大数据处理三：统计/分析

    统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

   大数据处理四：挖掘

    与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
    整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

大数据处理应遵循的几条原则：

   一、简约原则

    这是牛顿创设的一条“极简主义”的节约规则。在牛顿看来，神奇的自然界在创设过程中选择的简单性和对繁琐的讨厌，使得人类也形成如下观念：“在用很少的东西就能够解决问题的情况下，决不劳力费神和兴师动众”；要始终体现大自然所遵循的简约性、精准性、合理性与有效性。欲达此目的，就需要在云计算或大数据处理中，遵循简约原则，选择有用数据，淘汰无用数据；识别有代表性的本质数据，去除细枝末节或无意义的非本质数据。要能够确识数据之间的巨大差距或差异；要能够鉴别和挑出那些“以一当十”的数据和信息。这种简约原则在大数据的收集、挖掘、算法和实施中的最有效途径，就是对“数据规约”的运用。所谓数据规约就是简化现有的数据集，使得一种小规模的数据就能够产生同样的分析效果。常用的数据规约策略有数据立方体聚集、维规约、数据压缩、数值压缩、离散化和概念分层等，而常用的数据规约方法则主要包含粗糙集、遗传算法、主成分分析、逐步回归分析、公共因素模型分析等。运用这些规约方法，就可以获取可靠数据，减少数据集规模，提高数据抽象程度，提升数据挖掘效率，使之在实际工作中，可以根据需要选用具体的分析数据和合适的处理方法，以达到操作上的简单、简洁、简约和高效。具体地说，当一位认知主体面对收集到的大量数据和一些非结构化的数据对象，如文档、图片、饰品等物件时，不仅需要掌握大数据管理、大数据集成的技术和方法，遵循“简约原则”和“数据集成原则”，学会数据的归档、分析、建模和元数据管理，还需要在大量数据激增的过程中，学会规约、选择、评估和发现某些潜在的本质性变化，包括对新课题、新项目的兴趣和开发。

   二、综观原则

    所谓综观，就是对认知对象进行综合性的观察、分析和探索；就是从总体上对认识对象、认识过程和认识结果进行抽象、概括或直觉，并通过具体的信息数据超越那涵盖于总体性中的局部或个别。这种综观既针对构成事物之个体的全部，也针对构成事物的诸要素组成的统一体，以及总体上显现的本质和规律。综观较整体观察更加辩证。它坚持从大处着眼，从总体上去“观其状，求其法，探其道”，以求得解决问题的策略和战略。它坚持整体的具体统一性，凸显认知对象的具体实在性。至于现实中，人们究竟如何对具体的认知对象进行综观，这里需要借助与综观紧密相关的大数据集合的理论与实践。因为大数据集成，既包括对存贮在结构化数据结构中的数据进行移动和集成，也包括对一大部分非结构化数据中的数据进行移动、调节和集成。比如面对复杂的信息和数据，人们就可以将“云架构、实时数据集成、数据虚拟化、数据集成建模”等先进技术用到具体问题的解决中，使用一种根据大数据制作的“可预测模型描述语言”（PMML），为其提供一种快速简便的程序和模型。此时，通过使用标准的XML（可扩展标记语言）解析器对PMML进行解析，应用程序就能够决定模型输入和输出的数据类型，及模型的详细格式，并会按照标准的数据挖掘术语来解释模型的结果。通过对大数据的综观、模型化和虚拟化，可以做到花最小气力，获最大效益。特别是数据虚拟化，不仅可以为数据使用者提供极具真实性、完整性和精准性的“实时集成的数据视图”，还可以将来自不同数源的数据信息整合为一，并转化成使用者所需要的图式和模型。因为有些对象，绝不是仅仅用数字就可以解释和认知的，比
如人类复杂多变的面部表情，就很难用单纯的数据给予精确表达，只有通过数据集成、智能技术和虚拟技术将大数据虚拟化，使反映认知或实践对象的海量信息和数据，变成一种实时图像或视频供主体观察研究，他们才可能从中获得相关的认识、结论和决策。

   三、解释原则

   尽管数据集成、数据建模、云计算和数据虚拟化是大数据处理的一些主要形式，能够给认知主体以质、量和度等多方面的总体性的形象和认识，但面对“不能言语”的具体的数字、信息、图像和虚拟视频，还是需要认知主体进行能动的和创造性的解读与阐释。这不只因为包括数字、数码、文字和一切符号在内的语言“是存在的故乡”，即要认识客体或对象，总是需要利用语言给予建构、包装、说明和解释，还因为一切语言自身所拥有的价值和意义，也需要使用它和阅读它的主体所“赠予”。换句话说，这些摆在人们面前的大数据，究竟表达什么或意味什么，很大程度上，并不取决于由数据信息自身所标明的“客观实在性”，而是主要取决于认知主体对其解读时所拥有的整体上的解释力、构建力和知解力，取决于由数据构架起来的理论形态和实践目的。因为只有通过人的感悟、觉识、分析、推理、判断和阐释才能够赋予数据和信息以多重的或异乎寻常的结构和意义，才能够由表及里，揭示出深藏于内的隐蔽之物；进而通过各种解释之间的矛盾和冲突，获悉被解释的存在和本质。

   四、智慧原则

   尽管信息革命将人类带进大数据的春天，而且使越来越多的人确信“数据多多益善，即数据越多，分析越深入，所得的结论就越全面”，但面对“僵死的数据”，要想点石成金，还需依赖于人的智慧和学识。为此，在大数据处理过程中，真正的智者既要兼具数据分析、机器学习、数据挖掘以及数据统计的能力，也要具备应用算法和编写代码的经验。尤其是面对琳琅满目的大数据，不仅要关注海量数据的多样性、差异性、精确性和实效性，否则缺少其中任何一个性能，都可能使所获数据达不到预期的效果和目标；还要全面深入地挖掘各种类型的数据，并在此基础上运用数据建模和数据算法在不同的数据集成中分析不同的假设情境，建构不同的可视化图像，进而揭示数据集成的变化及其产生的效用。特别是今天，面对激烈的社会竞争，必须不断寻找新的数据处理方法，不断加快数据处理速度。要意识到各种数据都并非生而就有价值，只有通过主体智慧的挖掘，才能将其变为现实。
    此外，还要善于从数据集成、数据建模和数据虚拟化中发现和解决问题；提升自己观察、思考、批判和扬弃的能力；锤炼自己的理性思维和逻辑思维；培养自己统筹决策、高瞻远瞩、见微知著的预见力和洞察力。当然，在大数据时代更需要掌握对已有的数据模型进行精练，以及利用新的训练数据对原有内容和规则集进行修改、操作和运行的技艺。在此过程中，要尽可能做到思想活跃，思维清晰，头脑开放，认识深远，能够不失时机地打破陈规旧套，抓住新机遇，尝试新途径，开辟新天地，以多元智能的理念来认知和实践，以便在大数据处理中，既不忽略任何一个未经深度分析的数据，也不丢弃任何一个异常数据。在许多情况下，异常数据往往比常规数据更有价值。这样，也就自然地要求认知主体工作上缜密细心，时时关注事件的每一个细节与数据，真正做到明察秋毫、细心研制，直至收获完美的认识和成功的实践。

大数据处理方法：

    1.Bloom filter

     适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集

     基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。

   2.Hashing

    适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存

    基本原理及要点：hash函数选择，针对字符串，整数，排列，具体相应的hash方法。碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。

   3.bit-map

    适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下

    基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码。

   4.堆

   适用范围：海量数据前n大，并且n比较小，堆可以放入内存

   基本原理及要点：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。这样最后得到的n个元素就是最小的n个。适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。

   5.双层桶划分

   适用范围：第k大，中位数，不重复或重复的数字

   基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可 以接受的范围内进行。可以通过多次缩小，双层只是一个例子。

   6.数据库索引

    适用范围：大数据量的增删改查

    基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。

   7.倒排索引

    适用范围：搜索引擎，关键字查询

    基本原理及要点：被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。

   8.外排序

    适用范围：大数据的排序，去重

    基本原理及要点：外排序的归并方法，置换选择 败者树原理，最优归并树 。

   9.trie树

    适用范围：数据量大，重复多，但是数据种类小可以放入内存

    基本原理及要点：实现方式，节点孩子的表示方式 。

   10.分布式处理

    适用范围：数据量大，但是数据种类小可以放入内存
    基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。

网络营销词典内容均由网友提供，仅供参考。如发现词条内容有问题，请发邮件至info # wm23.com。