在macbook的os上直接安装hadoop&hbase

今天决定抛弃vmare+centos虚拟机的形式安装hadoop&hbase了,开始直接在macbook的os上安装hadoop&hbase。理由:

  1. 需要配资源,如果安装在os x上会更加直接全面地利用机器的资源。
  2. 两个系统之间倒来倒去不是一件高效的事情。
  3. 今天发现这台macbook的大部分使用场景都是和工作有关,那就不如直接使用macbook了。

预备

现在安装的是hbase,提前需要做的就是:

  • 给macbook安装jdk

  • 在Sharing里打开远程登录,使机器能免密执行ssh localhost。

  • 下载zookeeper-3.4.12.tar.gz, hadoop-3.1.1.tar.gz和hbase-2.1.1-bin.tar.gz。

zookeeper安装

将zoo_sample.cfg拷贝一份为zoo.cfg,就可以通过zkServer.sh的命令来启动。

然后可以通过zkCli.sh来对zk服务进行访问。

##hdfs安装

  1. 修改core-site.xml,hdfs-site.xml文件。
  2. hadoop namenode -format。
  3. 通过sbin/start-dfs.sh启动服务。

hbase安装

几个坑:

  1. htrace-core-3.1.0-incubating.jar需要自己下载,并且hadoop中htrace-core4-4.0.1-incubating.jar是不行的。有不兼容的情况。

  2. 需要自己在配置文件中注定hbase.master.ipc.address,否则在mac中会报Can’t assign requested address 无法启动rpc,但是没有日志显示这个配置是啥。

    hbase.master.ipc.addresslocalhost

##集成验证

在hbase shell中创建一个表,写入一条数据,检索。

  1. create ‘test’, ‘cf1’
  2. put ‘test’, ‘key1’, ‘cf1:col1’ , ‘value’
  3. scan ‘test’