-
使用Spark Streaming SQL进行PV/UV统计
所属栏目:[设计教程] 日期:2019-10-18 热度:57
1.背景介绍 PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析,例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析,比如分析用户的网页点击行为,此时就需要对UV做统计。[详细]
-
大数据和人工智能如何协同工作
所属栏目:[设计教程] 日期:2019-10-18 热度:72
副标题#e# 人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。 大数据技术并不像几年前那样广受关注,但这并不意味着大数据技术没有得到发展。如果说有什么不同的话,那就是大数据的规模正在变得越来[详细]
-
当WiFi6撞上5G,是危机还是商机?
所属栏目:[设计教程] 日期:2019-10-18 热度:171
副标题#e# 2019年9月16日 WiFi联盟宣布WiFi6认证计划 而我国的5G牌照早在今年6月份已发放 2019年是5G与WiFi6的商用元年,二者近来也颇具话题性,甚至不少人在争论,未来WiFi6与5G正面碰撞,WiFi6会逐渐被淘汰,但也有不少人认为WiFi6与5G是相互竞争,但也可[详细]
-
一文详解被阿里腾讯视作核心机密的大数据平台架构
所属栏目:[设计教程] 日期:2019-10-18 热度:177
副标题#e# 【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 如果我们能够化整为零,在企业内部从宏观、整体的角度设计和实现一个统一的大数据平台,引入单一集群、单一存储,统一服务和统一安全的架构思想,就能很好的帮助企业解决很多问[详细]
-
大数据时代下如何打造“智慧交通”
所属栏目:[设计教程] 日期:2019-10-18 热度:140
副标题#e# 【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 图片来自Unsplash 当今时代,数据已经渗透到每一个行业和业务职能领域,对于海量数据的挖掘和运用,因为近年来,互联网和信息行业的发展而进一步引发关注。仅从交通管理角度出[详细]
-
面试问:Kafka为什么速度那么快?该怎么回答
所属栏目:[设计教程] 日期:2019-10-18 热度:77
副标题#e# 【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。即使是普通的服务器,Kafk[详细]
-
谷歌首席科学家:搞研究的痛苦,搞工程的人不懂
所属栏目:[设计教程] 日期:2019-10-18 热度:109
副标题#e# 【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 谷歌首席科学家、谷歌大脑技术负责人Vincent Vanhoucke(万努克)最近发出的一篇劝退文,引发海外科研学者的热议。 在这博客中,万努克直言以研究为业,固然令人羡慕,但会面临着[详细]
-
Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
所属栏目:[设计教程] 日期:2019-10-18 热度:96
副标题#e# 【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 获取数据 其实逻辑并不复杂: 爬取歌单列表里的所有歌单url。 进入每篇歌单爬取所有歌曲url,去重。 进入每首歌曲首页爬取热评,汇总。 歌单列表是这样的: 翻页并观察它的url[详细]
-
小型企业将如何从5G中受益
所属栏目:[设计教程] 日期:2019-10-18 热度:162
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 在足够多的新设备进入主流市场之前,5G已经在许多领域引起了越来越多的关注。从IT、零售、交通和制造业到医疗、娱乐、教育和农业,几乎每个行业都将在某种程度上受到5G的影响。 越来越多[详细]
-
企业选择数据湖架构的5大理由
所属栏目:[设计教程] 日期:2019-10-15 热度:190
随着大数据的重要性和接受度的提高,人们也越来越需要考虑如何组织和托管大数据。答案之一是数据湖,在数据准备和组织方面最广泛的数据体系结构系统。 简单地说,它允许企业首先存储数据,然后在需要时检索数据。就像一个存储单元,你只是把你的东西存储,[详细]
-
大数据分享:60多个有用的数据可视化图形库
所属栏目:[设计教程] 日期:2019-10-15 热度:65
在开源世界中,某些库为数据可视化提供了许多可能性,包括图形或网络表示。其他库仅专注于网络图表示。通常,这些库比通用库提供更多的功能。您还将找到商业图形可视化库。商业图书馆的优势在于可以保证持续的技术支持和先进的性能。 宇宙网数据集的图形可[详细]
-
大数据无处不在,安全性也需要如此
所属栏目:[设计教程] 日期:2019-10-12 热度:133
从大数据分析中获得的见解对于企业来说是非常有价值的。但是,每个新数据流都会创建一个新的潜在攻击向量,从而使传统的外围防御措施变得过时,并使组织容易受到攻击。在以往,数据安全主管和数据科学家不得不在分析和安全之间做出选择,但是现在别无选择[详细]
-
5G网络真的无敌?第六代Wi-Fi表示不服
所属栏目:[设计教程] 日期:2019-10-12 热度:132
随着第五代移动通信技术(5G)正式商用,同属第五代的Wi-Fi技术(802.11ac)的处境就非常尴尬了,除了不存流量费用外,无论是网速、设备连接数还是网络延迟,5G都拥有秒杀802.11ac的资质。那么,当5G网络和5G手机普及后,Wi-Fi又该如何应对? 第六代Wi-Fi技术出[详细]
-
一个简单的算法,分布式系统的性能瞬间被提升10倍以上
所属栏目:[设计教程] 日期:2019-10-12 热度:101
一、概要 这篇文章,给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时,如何进行性能优化? 二、背景引入 先引入一个小的背景,假如多个客户端同时要并发的写Hadoop HDFS上的一个文件,这个事儿能成吗? 明显不可以接受啊,因为HDFS上的文件是不允许并[详细]
-
低功耗广域网技术比较一:成功实施的十大标准
所属栏目:[设计教程] 日期:2019-10-12 热度:66
低功耗广域网(LPWAN)是发展最快的物联网通信技术,也是全球物联网连接的主要驱动因素。随着各种低功耗广域网解决方案和供应商的出现,为物联网项目选择合适的技术方案并非易事。为了帮助您选择正确的解决方案,我们正在制作一个由两部分组成的帮助文章系列[详细]
-
大多数企业网络无法处理大数据负载
所属栏目:[设计教程] 日期:2019-10-12 热度:167
调查发现,企业IT无法跟上不断增长的数据过载。这次问题围绕网络带宽和整体性能。埃森哲(Accenture)对300位IT专业人员进行的调查发现,大多数人认为他们的企业网络无法完成处理大数据和物联网(IoT)部署的任务。在接受调查的公司中,只有43%的公司表示其网[详细]
-
文旅部将出台规定 在线旅游“大数据杀熟”或被处罚
所属栏目:[设计教程] 日期:2019-10-12 热度:77
据文化和旅游部网站消息,近日,文化和旅游部在官网发布《在线旅游经营服务管理暂行规定(征求意见稿)》(以下简称《暂行规定》),向社会公开征求意见。《暂行规定》对虚假预定、不合理低价游、价格歧视(大数据杀熟)、信用监管等问题都做出了具体规定[详细]
-
数据分析常用的18个概念,终于有人讲明白了!
所属栏目:[设计教程] 日期:2019-10-12 热度:174
副标题#e# [ 导读 ]大多数情况下,数据分析的过程必须包括数据探索的过程。数据探索可以有两个层面的理解: 一是仅利用一些工具,对数据的特征进行查看; 二是根据数据特征,感知数据价值,以决定是否需要对别的字段进行探索,或者决定如何加工这些字段以发[详细]
-
理解了异地恋,就理解如何配置交换机,一文了解清楚
所属栏目:[设计教程] 日期:2019-10-02 热度:173
副标题#e# 前面我们多次了交换机的配置, 有朋友反映太难了,看不懂,有弱电vip技术群也不断的有朋友在问交换机的相关配置,今天我们来以步步深入的方式来讲解交换机的配置。以通俗的方式来讲解交换机的配置方式。 案例一、划分vlan,实现同交换机下pc1与pc[详细]
-
SD-WAN与VPN如何比较?
所属栏目:[设计教程] 日期:2019-10-02 热度:72
副标题#e# 企业在比较SD-WAN与VPN服务时,在两种技术之间进行选择应该考虑成本、云计算使用和应用意识等因素。 软件定义的WAN有时作为全球互联网上虚拟专用网络的升级版,许多IT团队都对SD-WAN与VPN服务的根本区别和相似之处感到疑惑。 尽管SD-WAN平台的首[详细]
-
5G、边缘计算和物联网有望重组网络
所属栏目:[设计教程] 日期:2019-10-02 热度:82
比上一代蜂窝服务(4G)相比,5G提供的无线蜂窝连接性具有更高的带宽、更低的延迟和更高的设备密度。除10 Gbps的速度和1毫秒的延迟外,5G还可以在每平方公里支持数千台设备。 5G还支持网络切片,这使运营商可以将5G无线电访问网络划分为虚拟网段,每个网段都[详细]
-
大数据之什么是Hash表
所属栏目:[设计教程] 日期:2019-10-02 热度:141
副标题#e# 大数据之什么是Hash表,Hash,一般翻译做散列,也有直接音译为哈希的,它是基于快速存取的角度设计的,也是一种典型的空间换时间的做法。顾名思义,该数据结构可以理解为一个线性表,但是其中的元素不是紧密排列的,而是可能存在空隙。 1.散列表([详细]
-
Apache Spark Delta Lake写数据使用及实现原理代码解析
所属栏目:[设计教程] 日期:2019-10-02 热度:138
副标题#e# Delta Lake 写数据是其最基本的功能,而且其使用和现有的 Spark 写 Parquet 文件基本一致,在介绍 Delta Lake 实现原理之前先来看看如何使用它,具体使用如下: df.write.format(delta).save(/data/yangping.wyp/delta/test/) //数据按照dt分区 d[详细]
-
Linux TCP/IP协议栈,数据发送接收流程,TCP协议特点
所属栏目:[设计教程] 日期:2019-10-02 热度:146
可以毫不夸张的说现如今的互联网是基于TCP/IP构建起来的网络。弄懂协议栈的原理,无论对调试网络IO性能还是解决网络问题都是有很大帮助的。本片文章就带领大家来看看内核是如何控制网络数据流的。 TCP特点 我们都非常清楚TCP协议设计的初衷,就是保证数据[详细]
-
苹果野心获支持 无人驾驶获路测许可
所属栏目:[设计教程] 日期:2019-10-02 热度:124
【51CTO.com原创稿件】Business Insider带来了***的消息:苹果公司今日获得加州车辆管理部门DMV的许可证,这意味着苹果可以在加州公路上测试无人驾驶汽车。苹果这次要测试的是2015款雷克萨斯RX450h,同时,有6名驾驶员获得此次智能驾驶测试操作资格。 苹果[详细]

浙公网安备 33038102331048号