0%

HBase 是一个对内存比较敏感的存储系统,所以需要将 Linux 系统的交换内存设置为0,否则当系统内存不足时如果出现内存交换会造成 HBase 与 Zookeeper 之间的会话超时,比较明显的问题就是 RegionServer 会经常挂掉。

阅读全文 »

Dubbo 在远程调用的过程中会涉及到服务提供方(Provider)与 服务消费方(Consumer),如果我们希望在这两边调用的过程中添加一些额外的逻辑可以使用 Dubbo 提供给我们的过滤器来实现。

阅读全文 »

如果是公司的项目我们一般会将一些公共的代码放在 Jar 包中让组内其它成员使用。

阅读全文 »

在编写复杂的 Maven 项目时,如果模块过多,并且层级复杂的话修改版本号是一个头痛的问题,我们不可能找到每个子模块去修改当前模块的版本号,以及它依赖模块的版本号。Maven 作为一个项目构建的工具,有专门的插件为我们提供修改版本号的功能。

阅读全文 »

MyBatis 是我们经常使用的 ORM 框架,在使用的过程中我最容易出现的问题就是参数没有传递正确,然后抛出异常说我们在 Mapper 文件中使用的一些参数没有找到。一开始遇到这种错误还挺懵的,后来遇到多了也能很容易的找出原因,特别是在表字段经常发生错误的情况下特别容易出现。但是对于 MyBatis 如何根据 Mapper 文件中引用的参数如何在接口中找到对应的值一直没有进行过研究,现在对 MyBatis 中参数的映射规则进行记录一下。

阅读全文 »

在开发项目时,代码注释很重要。如果初期不注重代码规范,项目会在后期变得很难维护(当然如果是外包项目,一次交付注释写不写都没多大差别。),特别是核心业务人员离职后会严重影响项目开发的进度。

阅读全文 »

以前在使用 MyBatis 时如果是简单类型的参数必须使用“Param”注解指定参数名名称,否则会抛出异常。

阅读全文 »

Presto 是一个分布式的 SQL 查询引擎,非常适合用于 OLAP 场景。官方也许因为版权原因没有提供 oracle 的插件,oracle 在实际场景中还是使用的非常多的,有必要介绍些插件开发的流程。如果读者只是部署,不做开发,可以 clone 我托管在 GitHub 的Presto 来进行编译、部署。

阅读全文 »

因为项目使用Presto作为ETL使用,需要将关系库中的数据导入到Hive中。目前关系库中的数据每天导入一次,在Hive中以天为间隔创建新的分区。思路是正确的,但是在使用的过程中,发现将少量关系库中的数据通过Presto快速并多次导入到Hive中时会出现如下错误:

阅读全文 »

最近需要使用远程执行 Shell 命令,网上也有很多教程,但一般都是远程分发文件或者需要实现 UserInfo 接口,感觉都不够简介或者不满足我的需求。经过上网查询、翻阅官网终于发现可以实现我想要的功能了。

参考:http://wiki.jsch.org/index.php?Manual%2FExamples%2FJschExecExample

阅读全文 »