大数据到底应该如何学？大数据生态圈技术组件解析

这是一篇技术杂谈类的文章。

下面是食用须知：

本文适合还不十分了解大数据的你，同样适合不确定要不要学习大数据的你，将带你了解行业的需求以及与之相关的岗位，也同样适合刚刚踏入大数据领域工作的你，欢迎收藏并将文章分享给身边的朋友。 笔者从事大数据开发和培训多年，曾为多家机构优化完整大数据课程体系，也为多所高校设计并实施大数据专业培养方案，并进行过多次大数据师资培训、高校骨干教师学习交流，希望自己的一点粗浅认识能够帮助到大家。 本文并不是要将大数据描述成一个万能的、可以解决所有问题的东西，而是客观的阐述其作用，能够解决的一些问题。希望将这一领域尽可能完整的介绍给你，至于如何选择需要根据自己的实际情况来决定。

一、大数据的基本概念

1. 什么是大数据

要说什么是大数据我想大家多少已经有所了解了，很多落地的案例已经深入到了我们的生活中。大数据具有数据量大、数据类型丰富复杂、数据增长速度快等特点，一切的数据分析必须建立在真实的数据集上才会有意义，而数据质量本身也是影响大数据分析结果的重要因素之一。

作为学习者，我们关心的应该是大数据能够解决什么样的问题，能够应用在哪些领域，应该学习哪些内容，侧重哪一方面。

简单来说，我们需要学习的就是一系列的大数据生态圈技术组件，以及贯穿整个数据分析流程的分析方法和思维，并且思路更加重要一些!只有明确了数据分析场景与流程，我们才能够确定需要整合哪些大数据组件来解决这一问题。

下面我们将一起推开这一领域的大门~

2. 数据是如何采集的

大数据分析的第一步就是对数据的收集和管理，我们需要先来了解一下数据是如何产生的?又是被如何捕获的?那些看似杂乱的数据真的能被分析吗?

(1) 主动的数据产生与用户行为数据收集

主动产生的数据比较好理解，在我们使用互联网或者各种应用的过程中，通过填写提交表单就会产生数据。类似的，我们在线下环境中，比如银行开卡、纸质表格的填写，最终都会变成电子数据流入到系统中。通常，我们会将这一类行为归为用户注册，通常会是产生数据的起点。(当然，有些时候我们分析的数据也可能并不关心用户自身的信息。)除此之外，通过使用一些平台的功能，用户会上传和发布各种类型的数据，如文本类信息、音频、视频等，这都是数据产生和积累的方式。

对于用户行为数据更多的来自于应用埋点和捕获，因为用户使用应用必须通过鼠标点击或者手指触碰来和用户界面进行交互。以网页应用(网站)为例，对于鼠标的所有行为基本上都可以通过事件监听的方式来捕获，鼠标在某个区域停留的时间、是否进行点击，我们甚至可以根据用户的行为数据刻画出整个页面的热力图。

在不同的应用场景中，我们可以对行为类型、功能模块、用户信息等维度进一步的划分，做更加深入的分析。

(2) 结构化数据与非结构化数据

最常见的结构化数据就是存储在关系型数据库中的数据，如MySQL、Oracle等，这些数据都具备一个特点，就是十分规范。因为关系型数据库属于写时模式，也就是说不符合预先设定的数据类型和规范的数据不会通过校验，存不到数据库中。除数据库中的数据以外，那些能直接导入到数据库中的数据文件我们也可以把它们视为结构化的数据，如：CSV格式。这些数据通常需要具备统一的列分隔符、行分隔符，统一的日期格式等等。

对于非机构化的数据指的就是除结构化数据以外的另一大类数据，通常没有预期的数据机构，存储在非关系型数据库中，如：Redis、MongoDB，使用NoSQL来进行操作。也可能是非文本类型的数据，需要特别对应的手段来处理和分析。

3. 大数据真的能预测吗

问起大数据到底能不能预测，倒不如来说一说大数据是如何预测的。如果结合人工智能领域来说的话就比较复杂了，就说比较简单的场景：用统计分析的方法进行辅助决策，或者用经典数据挖掘算法进行模型的训练。既然是预测，那就有可能准确，也有可能不准确，分析者需要做的就是合理的使用各种数据维度，结合相应的算法或统计分析方法，去训练或拟合出一个潜在的规律。这个过程就好比，给了我们三个点(1，1)、(2，2)、(3，3)，我们可以大概猜到它的函数式有可能为y=x一样。当然，实际的分析过程要比这复杂的多得多，毕竟有很多函数式都可以满足这三个点，但到底哪一个是我想要的规律呢?这就需要理论知识与行业经验并重，不断的打磨和优化才能够得到一个可靠的模型。

但是我们可以明确的一点是，大数据的预测也好、推荐也好，都是基于算法的，是数学的，也是科学的，但并不会百分之百的准确。

二、什么是大数据开发

了解了什么是大数据，接下来介绍一下大数据开发这一岗位，先直接上岗位描述(JD：Job Description)给大家感受一下。然后来说明一下大数据开发工程师的主要工作，最后再来总结一下需要掌握的技能。

(1) 京东大数据开发工程师JD

(2) 小米大数据开发工程师JD

(3) 滴滴大数据开发工程师JD

(4) 主要工作

从上面的岗位描述中我们可以发现大数据开发工程师一般会与业务进行对接，要么是基于某一个场景进行有针对性的数据处理，要么是打造一个大数据产品。在这里我们也需要纠正一个小小的概念，可能有些小伙伴认为有大数据岗位需求的公司一定是一个自身具备大量数据、有着大量用户积淀的公司，其实不然。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!