提升 maven 编译 scala 的速度
我们 spark 的计算任务是用 scala 来写的，maven 编译，但是随着 scala 源文件的数量越来越多，（现在一个 project 已经 800+ 源文件了），编译速度成为了一个很大瓶颈，编译一次都要 10+ 分钟，大大影响了开发效率 首先想到的是，排除掉一些与自己计算任务无关的代码，看看能不能加速，从这里看到 https://stackoverflow.com/ques… 通过...
View Articlepostgresql 文本索引 spgist 与 btree 区别
postgresql 对文本的索引有 spgist 和 btree 两种，同样一张表，行数 140w 行左右，建立 btree 索引，执行一次 like starts with，冷启动大约 1.4s，反复多跑一次，稳定在 1.1s 改成 spgist 索引呢，瞬间降到 0.03s，到底是什么黑科技，能这么明显的提速 搜了一下，看到这里 http://www.postgres.cn/docs/9…....
View Article多维聚合函数
使用 SQL 的时候，可以用多维聚合函数，有 grouping set, cube, roll up，具体区别可以参考这里 https://webcache.googleusercon… 这个原文挂了，要看 google cahche，摘录如下 Hive分析窗口函数之GROUPING SETS，CUBE和ROLLUP 2016年04月04日 18:06:46 Free World 阅读数：2629...
View Article一个神奇的 spark 报错
写 spark 跑的时候遇到一个神奇的错误，报错如下 18/11/20 16:44:44 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() for one-way message. org.apache.spark.SparkException: Could not find...
View ArticlePython 导入包神奇 bug
我擦。。。。这个 blog 写一小段居然机器死机了，还没到第一个存档点就挂了。。 重新写，上回遇到一个神奇的 spark 报错，这回是一个神奇 python flask 报错，场景是为一个已有的 http server 新增一些函数，但是跑起来之后有一定概率会报错 NameError: global name ‘get_fill_topcity_adindex_rst’ is not defined...
View ArticleMySQL 8 测试
说 MySQL 8 的性能比 MySQL 5.7 性能提高了 2 倍，又，自己很久没用过 MySQL 了，于是想着试试 首先需要解决 CentOS 6 上安装的问题，看到这个文章， https://www.tecmint.com/instal… 这里介绍的是通过 yum 源的方式来安装的，但是这个方式不太行，内网的网络限制了，于是只能走预先下载 rpm 包的方式来了 一共需要这几个包：...
View Articlekafka 启动报错
虚拟机上的 kafka 被强制断电之后，重新启动的时候报错 [2019-01-03 15:57:46,279] INFO Creating /brokers/ids/1 (is it secure? false) (kafka.utils.ZKCheckedEphemeral) [2019-01-03 15:57:46,294] INFO Result of znode creation is:...
View ArticleRemove Duplicates from Sorted Array
又是好久没有刷题 https://leetcode.com/problems/… 26. Remove Duplicates from Sorted Array Given a sorted array nums, remove the duplicates in-place such that each element appear only once and return the new...
View Article继续折腾 maven 编译提速
之前折腾过一次 https://zrj.me/archives/1886 但是效果并不理想 我想要的效果是：通过一些配置的方式，来控制 maven 只编译指定的文件，不编译多余的文件，（哪怕那些文件在那里） 搜到这里有一个答案， https://stackoverflow.com/ques… 点赞很高，看起来有用，但是实际测试了一下，感觉并没有生效，还是编译了很多文件，并且报错找不到定义...
View Articlekaratsuba 乘法
karatsuba 是一种快速乘法，主要是采用了一种分治的思想来进行大数的乘法，其教程和证明可见 https://blog.csdn.net/qj30212/… 其 Python 代码如下 def karatsuba(num1, num2): if (num1 < 10 or num2 < 10): return num1 * num2 num1Str = str(num1)...
View Article如何从 std::vector 中删除数据
std::vector 由于内存的连续性带来了访问的高效率，但是，如果我们想要从 std::vector 中删除掉某些行的数据，应该怎么操作呢 首先，如果这个动作是一个高频频繁的动作，那从一开始就不应该使用 std::vector，而是应该用 std::list，但是，如果这个动作并不是很高频，且 std::vector 的连续高效性对我们很重要的情况下，那还是应该找方法去解决这个问题 一个思路是...
View Articlepython 中 yyyymmdd 与 timestamp 互转
一行搞定 datetime.datetime.strftime(datetime.datetime.fromtimestamp(time.mktime(time.strptime('20190606','%Y%m%d')) - 3600*24),'%Y%m%d')
View ArticleCentOS 挂载 ISO 作为 reop 源
参考这里 https://linux.cn/article-1017-… 先光盘挂载上去 mkdir /mnt/cdrom mount -o loop /dev/cdrom /mnt/cdrom/ 然后备份 repo 文件 mkdir /etc/yum.repos.d/bak mv *.repo /etc/yum.repos.d/bak 然后新建自己的文件 [base] name=RedHat...
View ArticleCentOS 离线安装 docker
参考 https://blog.csdn.net/u0123738… 下载了这些安装包 lxc-libs-1.0.11-1.el6.x86_64.rpm lua-alt-getopt-0.7.0-1.el6.noarch.rpm lua-filesystem-1.4.2-1.el6.x86_64.rpm lxc-1.0.11-1.el6.x86_64.rpm...
View Articlepostgresql 迁移数据到 MySQL
最近在搞 tidb，想找个方法往 MySQL 协议中快速写入数据，在 postgresql 下有 copy，找了下，MySQL 下也有 load data，其本质也是一个 insert，看到这里 https://blog.csdn.net/seven_33… 有一个思路是不走落地文件，挖坑待填
View ArticleTiDB 测试报告
# 1. 背景与目标 单机 tpg 在存储和 SQL 性能上有 scale-up 上限，TiDB 作为分布式 NewSQL 的一个实现，在线性扩展，容灾等方面有架构上的优势，本次测试主要研究 TiDB 是否能满足目前运营数据服务场景下的功能和性能需求。 # 2. TiDB 系统架构 参考 https://pingcap.com/docs-cn/v3… # 3. 部署方式 4 台 TS80A...
View Article再谈 SQL 引擎
之前整理过一次，几个 hadoop 生态下 SQL 引擎的区别， https://zrj.me/archives/1868 当时稍微有点局限，都是讨论的 hadoop 生态下的，（其实那个帖子里也有不少是非 hadoop 生态的了），最新又在看这块的东西，涉及一些新的 SQL 引擎，再整理一下 主要会看以下这么几个： TiDB CockRoachDB ClickHouse Kudu + Impala...
View ArticleTortoiseGit 配置
TortoiseGit 在 git pull 的时候报错，disconnected, no supported authentication methods available, server sent public key git.exe pull --progress -v --no-rebase "origin" fatal: Could not read from remote...
View Articlegit lfs 报错
git clone 一个仓库的时候报错 Use `git lfs logs last` to view the log. error: external filter 'git-lfs filter-process' failed fatal: 3rd/abseil/lib64_debug/libabsl_bad_any_cast_impl.a: smudge filter lfs failed...
View Article