清除旧日志脚本
bash 的语法真是反人类啊，反人类啊啊啊 #!/bin/bash # created: 2015-10-10 13:24:15 size=204800 echo "loop delete oldest log file until directory size < "$size" KB" while [ 1 ]; do directory_size=$(du -s | cut -f1) if...
View Article获取当前机器 IP
std::string GetLocalIP() { struct ifreq req; int sock_fd; char szLocalIP[16]= {0}; string strLocalIP=""; sock_fd = socket(AF_INET,SOCK_STREAM,0); if(sock_fd < 0) return strLocalIP;...
View Articlenavicat 新建查询报错目录名或卷标语法不正确
网上查了一下，说要删了重建，其实这个错误在提示中比较明显了，解决方法是在右键，连接属性，高级，设置位置，把路径名中的非法字符去掉就可以了，例如冒号改成下划线等等，那么，Windows 路径中的非法字符有哪些呢，看这里，https://msdn.microsoft.com/zh-cn/library/windows/desktop/aa365247(v=vs.85).aspx The...
View Articlepython 日志初始化
import logging logging.basicConfig(format = '[%(asctime)s][%(levelname)s] %(message)s [%(funcName)s::%(lineno)d]', level = logging.DEBUG) logging.debug(123)
View Articlelinux ss
ss 是一个类似 netstat 的网络连接查看工具，man page 是这么说的 ss – another utility to investigate sockets 而 netstat 的 man page 中也有说到 This program is obsolete. Replacement for netstat is ss. 常用命令有 -s 参数，打印 summary # ss -s...
View ArticleClik here to view.
linux tcpdump
我一般用 tcpdump 有两种用法，一个是存盘，拿 wireshark 看，那么的话，就这么写 或者实时打印到屏幕，就参考这里，http://www.askbjoernhansen.com/2007/07/12/how_to_dump_packets_with_tcpdump.html，这么写 I always forget the parameters for this and have to...
View Article推荐一下央视的《远方的家》《边疆行》
这个节目其实有了很久了，大约是 2011 年左右的时候就有了，也看了很久，越看越是觉得好，专门来推荐一下，说好是因为一方面这个节目本身做的好，选材不错，主持人也尽心尽力，算得上一个高质量的旅游栏目，另外一方面是这种类型的节目恰恰好适合用电视这种方式来看。...
View Articleruby gem 安装 compass
这年代，前端越来越复杂，又是 gem 又是 compass，又是 less 又是 sass，还有 grew 和 grunt，一堆堆的名字，上来就能把新手给吓个半死，这个暂且按住不说。 这年代，凡是个语言就有要个包管理器，不过这个倒是应该，任何语言都面临着库管理的问题，但是能不能不要假设网络一定是好的啊，要知道这个世上还有天朝这种孤岛啊，那怎么办，墙外开花墙内香，maven 有 oschina...
View Articlespring mvc 的 controller 函数的参数
学习 spring mvc 的过程中，发现他的 controller 的函数的入参很是神奇，变化多端，捉摸不定，查了一下，这里有说：http://stackoverflow.com/questions/8372957/how-does-spring-mvc-controller-method-parameter-work The general answer is “Spring magic”;...
View ArticleMac 鼠标匀速滚动
新上手 Mac 的时候发现他的鼠标滚轮，在高速滚动的时候，会有一个加速效果，实在是不能忍，于是搜了一下，发现这个帖子，http://www.weiming.info/zhuti/Apple/31712229/，里面有说道： c*****u 2013-12-07 15:24:34 1在mac上试了几个PC上的带滚轮的鼠标，发现滚轮的速度不是均匀的，而是有加速度的...
View Articlehadoop 2.5.2 集群安装
之前写过一个，http://zrj.me/archives/888，不过现在是 2.5.2，东西不同了，安装方式有所变化。 说起来，主要以下几点： 安装 JDK 打通 SSH 停掉防火墙 配置 core-site.xml, maprd-site.xml, hdfs-site.xml，新增了一个 yarn-site.xml...
View ArticleClik here to view.
hbase 创建表时提示存在删除时时又提示不存在
看到这里，http://arnon.me/2013/01/killing-hbase-zombie-table/ One of our team leaders approached me in the hall today and asked if I could land a hand in troubleshooting something. He and our QA lead were...
View ArticleHadoop HBase 碎碎念
一些小笔记会持续追加到这里 2016-3-25 22:09:24 重启或添加节点： $bin/hadoop-daemon.sh start datanode ————————– 2016-3-25 22:09:31 Had the same problem with 2.6.0, and shamouda’s answer solved it (I was not using dfs.hosts...
View ArticleClik here to view.
数据仓库，数据集市，ODS，主数据
数据仓库和数据集市的区别与联系, http://blog.csdn.net/vertour/article/details/8508148 数据仓库和数据集市的区别与联系, http://blog.csdn.net/map_lixiupeng/article/details/41131549 ODS、数据集市、数据仓库的异同点是,...
View Articlespark Task not serializable
http://stackoverflow.com/questions/23050067/spark-task-not-serializable-how-to-work-with-complex-map-closures-that-call-o In case of using Java API you should avoid anonymous class when passing to the...
View Articlespark 移动均值
想要在 spark 上算移动均值，可以参考这个 http://stackoverflow.com/questions/23402303/apache-spark-moving-average You can use the sliding function from MLLIB which probably does the same thing as Daniel’s answer. You...
View Articlespark 算子理解和存储方式
对 combineByKey 的理解，参看，http://luojinping.com/2016/01/22/%E5%88%9D%E5%AD%A6Spark/ combineByKey应用举例 求均值 val rdd = sc.textFile(“气象数据”) val rdd2 = rdd.map(x=>x.split(” “)).map(x =>...
View Articlespark 操作 mysql
主要有两个思路，一个是旧的，spark 1.3 之前，自己动手丰衣足食，后来有了 spark sql，使用它的 dataframe，也是可以的 ================================= 旧的有： Spark与Mysql(JdbcRDD)整合开发 Spark将计算结果写入到Mysql中 这种 jdbc rdd 的，貌似是 scala 专属，Spark SQL: JdbcRDD...
View Articlescala 上手
随着 spark 使用深入，越来越感觉用 java 是不行的了，社区里大家都用 scala 讨论，用 java 就像一个语言不通的人一样，换呗，先搭环境，再学语法，都不是什么难点，就是花时间，环境最是烦人，耗时耗力还不讨好，语法倒好，以我十八般武艺样样不精通的经验来说，就是个类似 js 的函数式，不难 先看环境问题，scala eclipse sbt 应用程序开发，From zero to a...
View Articlespark sql
http://spark.apache.org/docs/latest/sql-programming-guide.html 看这里好像可以把一个 csv 文件当做表来处理，那就好多了 =================== 2016-4-20 22:43:18 如果你 assembly 出来的 jar 连不上...
View Article