9

实时计算框架Storm本地模式搭建

 2 years ago
source link: https://blog.chih.me/Setting-up-a-Storm-Cluster.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

实时计算框架Storm本地模式搭建

0 Comments

平台：Ubuntu14.04

通过ubuntu自带的软件包管理器安装java环境。 安装Java：

$ sudo apt-get install openjdk-7-jdk

检查是否安装完成:

$ java -version

检查python版本:

$ python -V

安装ZooKeeper

为了避免每次获取超级权限重复输入sudo 临时进入超级用户:

$ sudo -s

使用ctrl+d退出

定位目录:

# cd /usr/local/src

从阿里的源下载:

# wget http://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

使用命令解压:

# tar -xzvf zookeeper-3.4.6.tar.gz

进入解压后的目录：

# cd zookeeper-3.4.6

从配置文件模板复制一份配置文件，这里无需修改：

# cp conf/zoo_sample.cfg conf/zoo.cfg

环境变量：

# export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.6

环境变量：

# export PATH=$ZOOKEEPER_HOME/bin:$PATH

启动服务器:

# ./bin/zkServer.sh start

# ./bin/zkCli.sh -server 127.0.0.1:2181

安装Storm

定位目录:

# cd /usr/local/src

下载（从阿里的源下载0.9.2版本）:

# wget http://mirrors.aliyun.com/apache/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz
# tar -xzvf apache-storm-0.9.2-incubating.tar.gz
# cd ./apache-storm-0.9.2-incubating/

配置storm.yaml:

# vim ./conf/storm.yaml

(这里我使用vim，也可以使用如何文件编辑器，复制以下内容到文件，原先的内容全部注释）

storm.zookeeper.servers:
      - "localhost"
nimbus.host: "localhost"
storm.local.dir : "/var/storm"
ui.port : 8080
storm.messaging.transport: "backtype.storm.messaging.netty.Context" #--指定传输协议
storm.messaging.netty.server_worker_threads: 1   #--指定netty服务器工作线程数量
storm.messaging.netty.client_worker_threads: 1   #--指定netty客户端工作线程数量
storm.messaging.netty.buffer_size: 5242880    #--指定netty缓存大小
storm.messaging.netty.max_retries: 100   #--指定最大重试次数
storm.messaging.netty.max_wait_ms: 1000  #--指定最大等待时间（毫秒）
storm.messaging.netty.min_wait_ms: 100   #--指定最小等待时间（毫秒）

后台（通过命令后加&使进程后台执行，标准输出全部进入黑洞/dev/null）启动Storm服务：

# ./bin/storm nimbus >/dev/null 2>&1 &
# ./bin/storm supervisor>/dev/null 2>&1 &
# ./bin/storm ui >/dev/null 2>&1 &
# ./bin/storm logviewer > /dev/null 2>&1 &

访问ip:port即可进入Storm UI

-EOF-


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK