第491期大数据日报(2016-05-27)

更新于 2016年5月28日 大数据
我来说两句
0 2016年5月28日

2016-05-27 大数据 日报

大数据日报 2016-05-27

@好东西传送门 出品, 过往目录http://bd.memect.com

订阅:给 hao@memect.com 发封空信, 标题: 订阅大数据日报   或点击 点我订阅

本期话题有:

全部14 分析5 计算框架5 虚拟化2 数据库2 云服务2 应用1 会议活动1

用日报搜索找到以前分享的内容: http://bd.memect.com/search/

分析
《笑喷了!20条关于数学及数据分析的冷笑话》下面分享20条关于数学及数据分析的冷笑话,让你笑喷~~http://t.cn/R52tJhJ(来自: 36大数据)

 

数盟社区   网页版 2016-05-27 17:30
计算框架 数据库 Hadoop HBase ZooKeeper
Hadoop集群之 ZooKeeper和Hbase环境搭建 http://t.cn/R52ZIQo

 

大数据技术博客   网页版 2016-05-27 11:50
计算框架 Spark
#大数据头条#【Spark 2.0:深入介绍新的Tungsten执行引擎】http://t.cn/R5AdXmv 对于数据处理中很多核心算子,通过整段代码生成和vectorization技术新的引擎会使它们的运行速度提升一个数量级。翻译自http://t.cn/R5zsYd9 博客配置比较差,访问比较慢。@网路冷眼 @时金魁 @印象笔记 @爱可可-爱生活

 

CSDN   网页版 2016-05-27 11:20
计算框架 Spark
【Spark多数据源计算实践及其在GrowingIO的实践】本文主要介绍如何使用Apache Spark中的DataSource API以实现多个数据源混合计算的实践。GrowingIO通过使用SparkSQL加DataSourceAPI的方法在很短时间内搭建起一套完整的数据处理平台,并且扩展性很好。http://t.cn/R5ArZaI

 

龙星镖局   网页版 2016-05-26 17:22
分析 数据库 PDF 教育网站
在big data的背景下,hashing技术在数据库、机器学习、数据分析等领域都扮演着重要作用,大大提升了利用数据价值的效率。推荐大家看看南大 @李武军nju@南大周志华 老师合作的中文综述《大数据哈希学习: 现状与趋势》,http://t.cn/R5Ac7Dj

 

投资界微博   网页版 2016-05-27 20:18
应用 金融 姚乃胜
【姚乃胜:揭秘估值610亿元的京东金融“互联网+大数据”的奥秘】京东金融副总裁姚乃胜称,互联网金融风口还是要抓的,但是不要去追,追就比较有风险,最好能够预测,预测不到就不要补那个风口;要跟你核心能力紧密联在一起;要打造自己核心能力。http://t.cn/R52hBvB

 

数盟社区   网页版 2016-05-27 16:04
分析
大数据分析界的 “神兽” Apache Kylin 有多牛? http://t.cn/R5AsMaP

 

紫数网   网页版 2016-05-27 15:02
分析 Storm
Twitter开源了看上去完爆Apache Storm的Heron!BAT你在哪???http://t.cn/R5Asx3g

 

数据科学家快报   网页版 2016-05-27 13:43
分析
『轻松搞定数据处理的五款Eclipse开源工具 – 数据科学家』http://t.cn/R5AF2K3

 

SDNLAB   网页版 2016-05-27 13:26
会议活动 虚拟化 Docker 产业 活动 容器
【DaoliNet开源发布会暨Docker社区沙龙】5月27日,道里云将把多年精心打造的Docker网络技术无偿贡献给开源社区,为此举行DaoliNet开源项目发布会。同时借此机会发起一次国内Docker圈线下沙龙。http://t.cn/R5Ak55I

 

聊聊架构   网页版 2016-05-27 11:51
计算框架 云服务 分布式系统 章文嵩
【章文嵩:构建大型云计算平台分布式技术的实践】本文先分析客户对云计算平台的基本要求,再把这些转为云计算平台对背后分布式系统的要求,我们如何在分布式系统中设计和取舍来满足这些要求,形成高性能、低成本的形态丰富云产品线。http://t.cn/R5AdoCt

 

阿里技术嘉年华   网页版 2016-05-27 11:39
云服务 顾伟
来自普元的软件产品部主任架构师顾伟,和大家分享了基于微服务架构,建设可以同时运行在公有云和私有云上的容器云平台的实践经验,以及容器技术栈和架构等。关注此文:《基于微服务架构,实解容器级DevOps平台的建设》http://t.cn/R5ArF83

 

张包峰   网页版 2016-05-26 16:51
计算框架 GreenPlum Spark
#MPP# Apache HAWQ: Next Step In Massively Parallel Processing http://t.cn/RqoMGtL 首先比较清楚的介绍和对比了MPP系统和Batch系统的差异和优劣,其次介绍HAWQ(作为两种模式的combination)为何通过引入DFS解决了MPP的问题(如concurrency)。作者本身是Spark, HAWQ, Greenplum的贡献者。另外,作者在…全文: http://m.weibo.cn/1704141184/3979426489981052

张包峰 网页版 转发于2016-05-27 11:30
回复@张包峰:2. MPP必定是在data node上做local processing的,所以网络shuffle开销一般不是bottleneck,另一方面,本地IO确实可能是问题,这也是HAWQ要改进在DFS上的原因,文中也指出了这其实解了狭义MPP不是shared-storage带来的问题

 

InfoQ   网页版 2016-05-26 12:00
虚拟化 Docker 容器
【超大规模容器调度系统的设计与实现】本次分享介绍DaoCloud超大规模容器调度系统的设计与实现。如何记录容器状态并有效调度是本系统的一大难点。如何在容器调度之后,依旧满足业务系统的存储需求以及网络需求是另一难点。DaoCloud超大规模容器调度系统采用原生的Docker能力来应对 http://t.cn/R5wrCHh

诸超_小石头爸爸 网页版 转发于2016-05-27 09:05
infoq一半时间打不开PPT和视频 挫爆了[困][困][困] 真正超大规模的只有jd吧,daocloud 不可能?

 

回复