标豆的博客 | BiaoBean Blog

2017 Strata Datad大会Beijing站参会记（第三篇）：广发银行：大数据时代银行客户社交关系圈研究与应用

2017 Strata Data Beijing(3): Research on and the application of a social relation circle of bank customers in the big data era

广发银行：大数据时代银行客户社交关系圈研究与应用链接广发银行数据中心总经理黄文宇博士带来的分享虽然没有太多技术的细节，但绝对称得上hold住全场，一直谦虚的说自己不懂技术，“警告”大家不要问技术问题，一定是大数据圈里最会说相声的博士的了：）这个分享最大的特点不是用了什么高精尖的技术，而是实实在在的接地气，比起互金，在银行传统业务中应用的效果和场景感觉更能体现大数据和传统技术的对比...

Posted by biaobean on September 1, 2017

2017 Strata Datad大会Beijing站参会记（第二篇）：宜人贷：用一手行为数据和图谱信息创造商业价值

2017 Strata Data Beijing(1): SDK + FinGraph + Go

宜人贷：用一手行为数据和图谱信息创造商业价值宜人贷的几个小伙伴介绍了他们的技术最佳实践，包括社区团挖掘和GO的使用心得。不过感觉当初用GO的原因，玩票的成分更多。链接这是一个让所有软件厂商都心碎的事情————撩完试用版，到期后切换到社区版，“完完好好运行至今” 使用图数据库Neo4j，实现就是这么简单良心啊，代码都直接帖出来了：

Posted by biaobean on September 1, 2017

2017 Strata Datad大会Beijing站参会记（第一篇）：周五Keynotes

2017 Strata Data Beijing(1): Keynotes 1

Oreilly的Strata全球大会引入中国已经第二年，这是门票要大好几千的高B格的技术会议，也是广大海外IT民工蹭会归国的探亲会:)。有幸能去蹭吃蹭喝，那是必须去现眼的。这次Strata的官方规格还是很高的，Cloudera公司来的是Hadoop吉祥物道哥（Doug Cutting）和CTO Amr，这对儿胖头陀和瘦头陀在一个技术大会上同时出现，这些年在全球都屈指可数。 Stra...

Posted by biaobean on July 16, 2017

标逛2017年贵阳数博会

2017 Guiyang Big Data Expo

标逛2017年贵阳数博会总结数博会政府背景太重，无论是参会者、参展商、应用、议题等等都是政府和公共安全圈子。即使再换一个IT概念主题，云计算、人工智能等等，估计参展的厂商绝大多数不会变。外企不多，在“自主可控”大旗下，外企的机会不大，即使来了，也大多消极怠工。加之参会的政府人员居多，有点画风不符。互联网方面，为什么老三没来？难怪315老被曝光。:) 大数据的生态很差。...

Posted by biaobean on May 26, 2017

Index

作为一个数据库小白，原来有这么多种的index啊： Storage Index Aggregate Index Bitmap Index 覆盖索引(Covering Index)/Materialized View BloomFilter Statistics https://snippetessay.wordpress.com/2015/07/25/hive-optimizatio...

Posted by 标豆冒皮皮 on November 10, 2016

Apache Spot项目介绍

ApacheS Spot

2016年9月才被Apache基金会纳入孵化器的新开源项目Apache Spot，是一个网络日志分析端到端解决方案，旨在提供一个开放的框架，利用“大数据”和科学计算领域（如机器学习）的强大技术解决海量事件日志的安全监测和分析，并基于开放数据模型（Open Data Model）提供可扩展的网络安全用例构建。其主要组件包括：并行收集框架：借助开源的优化的解码器，解码二进制流...

Posted by biaobean on October 29, 2016

如何在CDH上跑HiBench

How to run HiBench on CDH

配置Hadoop路径修改conf/99-user_defined_properties.conf文件，找到包含下面左边参数的相应行，并将值修改为右边： hibench.hadoop.home /opt/cloudera/parcels/CDH/lib/hadoop hibench.spark.home /opt/cloudera/pa...

Posted by biaobean on September 1, 2016

手工安装Cloudera Manager托管Hadoop记录

CM Install

14：00 开始停止集群服务 15：00 发现NN和SNN报告数据不同。怎么办？重启SNN呗~ ：）记录集群状态 ### 22:00 结果了N个小时个鏖战，发现了N个CM的小bug，CM界面说的edit.dir不设置就会使用name.dir，经测试不行，如果不设置将报错，且报的错非常诡异，NN报fsmsg目录lock失败，原因是已经被自己lock了！原来把namedir设置错...

Posted by biaobean on August 10, 2016

北京Strata Hadoop讲稿

Strata Hadoop 2016 Beijing

Strata的PPT讲稿已经放到Oreilly网站上了，原稿KeyNotes文件我放到了这里。这次Strata准备时间很短，讲演前一天刚从美国回来，憋了一天才在半夜定稿，有些原本在proposal里最终没来得及准备，最后的内容和Session简介里有些出入，非常抱歉。原本准备的Demo一个都没有用上，甚至最后连打开一个网页看看界面的时间都没有。等有时间把相关的东西都整理一下，系统...

Posted by biaobean on August 9, 2016

Build Mesos

Mesos Step 1

Posted by biaobean on July 5, 2016

标豆冒皮皮