valder fields
yugouai · 共 98 篇文章
[置顶] kafka+storm部署及测试
kafka、storm、zookeeper部署 1、 安装环境 zookeeper-3.4.8,apache-storm-0.9.3,jdk1.8.0_91,kafka_2.10-0.10.0.0 2、 配置kafka # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 # The port the socket server listens on port=9092 # A comma seperated list of directories under whi…
kafka
常用命令: val rdd1 = sc.parallelize(List(('a',1),('a',2))) val rdd = sc.textFile(“/usr/local/spark/tmp/char.data") rdd.count rdd.cache val word_count = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) word_count.saveAsTextFile("/usr/local/spark/tmp/result") val word_count = rdd.flatMap(_.split(" "…
2016-06-23 20:00 · kafka · 评论(0)
Flume NG
Mongodb sink import java.io.IOException; import java.net.UnknownHostException; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Map; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import com.cloudera.flume.conf.Context; import com.cloudera.flume.c…
2015-11-08 16:06 · 自定义sink · 评论(0)
Python map排序
Abstract This PEP suggests a "sort by value" operation for dictionaries. The primary benefit would be in terms of "batteries included" support for a common Python idiom which, in its current form, is both difficult for beginners to understand and cumbersome for all to implement. BDFL Pronouncement …
2015-03-02 18:38 · python · 评论(0)
mrunit测试
Map/Reduce 单元测试 About MRUnit world count 测试 package com.irwin.hadoop; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apach…
2014-11-27 23:42 · 分布式hadoop · 评论(0)
Vertica “ERROR: Too many ROS containers exist”
from:http://blog.csdn.net/kongxx/article/details/38975539 将实时数据导入vertica时出现的错误,记录一下。 Caused by: java.sql.SQLException: [Vertica][VJDBC](5065) ERROR: Too many ROS containers exist for the following projections: public.action_log_super (limit = 39936, ROS files = 40092, DV files = 0, new files = 39) …
2014-09-10 20:51 · vertica · 评论(0)
vertica优化
一、使用Database Desiger 1、创建查询sql,此sql为常用查询,vertica通过查询sql生成优化的PROJECTION,生成部分脚本,存放在设置过程中的 (1)多预测查询:常用sql语句 SELECT * FROM QUERY_PROFILES (2)order操作 (3)数据分布算法(数据广播,数据切割) 2、通过查看query_events系统表查看需要优化的项 select * from QUERY_EVENTS (1)主要查看event_type字段 PREDICATE OUTSIDE HISTOGRAM NO HISTOGRAM MEMORY LIMIT HI…
2014-08-13 12:10 · vertica · 评论(0)
vertica自定义函数C++版
Vertica 6.x 只支持R、C++编写Vertica的UDF,由于使用内置的String 提供的函数实现不了substring_index功能,且用C++实现 #include <algorithm> #include <string> #include "Vertica.h" using namespace Vertica; using namespace std; // 从text中获取第|delim_num|个|delim|前的全部子串 std::string getSubString(const std::string& text, const std::string& del…
2014-07-18 00:15 · vertica · 评论(0)
vertica自定义函数
Vertica实现mysql函数substring_index: package com.yy.vertica; import java.util.Arrays; import java.util.Collections; import java.util.List; import org.apache.commons.lang3.StringUtils; import org.apache.commons.lang3.math.NumberUtils; import com.vertica.sdk.BlockReader; import com.vertica.sdk.BlockWrite…
2014-07-15 20:12 · vertica · 评论(0)
JSP下载文件
JSP下载远程服务器文件,通过数据流的方式获取。后台代码如下: @RequestMapping public void requestDownlod(HttpServletResponse response, String filePath){ RemoteDownLoadHelper helper = new RemoteDownLoadHelper(); String resultFileAbsolutePath = helper.getTargetFilePath(filePath); List<File> fileList = FileUtil.listFiles(resultFil…
2014-05-07 18:52 · Web开发 · 评论(0)
Redis-Jedis的八种调用方式
package com.irwin.redis; import java.util.Arrays; import java.util.List; import org.junit.Test; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPoolConfig; import redis.clients.jedis.JedisShardInfo; import redis.clients.jedis.Pipeline; import redis.clients.jedis.ShardedJedis; impo…
2014-04-27 17:43 · NoSql · 评论(0)
《How to Get Control Your Time and Your Life》读书笔记
克林顿 我要当个好人,娶个好老婆,养几个好孩子,交几个好朋友,做个成功的政治家,写一本了不起的书 T1:为什么要掌握时间 1、太忙 压力太大,感觉紧张,身体不舒服 2、太闲 无所事事,一直在退步,退化 掌握好时间会让我们生活更幸福 T2:什么叫掌握时间 利用好时间,张弛有度 1、掌握时间的两个误区 凡事都井井有条:掌握时间过度,成为时间的奴隶 总是做得太多、太好:重点事情重点做 2、为什么大多数人不能掌握时间 2.1 没有意识 2.2 不懂方法 2.3 不做 2.4 不坚持做 T3:掌握时间的基本意识 1、我们真正可以利用的时间不超过10年(18~60岁) 2、我们的时间经常被别人和别的事情…
2014-03-31 22:32 · 杂谈 · 评论(0)
阿里DataX编译与案例
下载源码 svn checkout http://code.taobao.org/svn/datax/trunk -环境 root@datanode158:~# java -version java version "1.7.0_45" root@datanode158:~# python -V Python 2.7.3 root@datanode158:~# ant -version Apache Ant(TM) version 1.8.2 compiled on December 3 2011 root@datanode158:~# g++ --version g++ (Ubuntu/L…
2014-03-28 21:13 · 阿里开源-DataX · 评论(3)