今天决定抛弃vmare+centos虚拟机的形式安装hadoop&hbase了,开始直接在macbook的os上安装hadoop&hbase。理由:
- 需要配资源,如果安装在os x上会更加直接全面地利用机器的资源。
- 两个系统之间倒来倒去不是一件高效的事情。
- 今天发现这台macbook的大部分使用场景都是和工作有关,那就不如直接使用macbook了。
预备
现在安装的是hbase,提前需要做的就是:
给macbook安装jdk
在Sharing里打开远程登录,使机器能免密执行ssh localhost。
下载zookeeper-3.4.12.tar.gz, hadoop-3.1.1.tar.gz和hbase-2.1.1-bin.tar.gz。
zookeeper安装
将zoo_sample.cfg拷贝一份为zoo.cfg,就可以通过zkServer.sh的命令来启动。
然后可以通过zkCli.sh来对zk服务进行访问。
##hdfs安装
- 修改core-site.xml,hdfs-site.xml文件。
- hadoop namenode -format。
- 通过sbin/start-dfs.sh启动服务。
hbase安装
几个坑:
htrace-core-3.1.0-incubating.jar需要自己下载,并且hadoop中htrace-core4-4.0.1-incubating.jar是不行的。有不兼容的情况。
需要自己在配置文件中注定hbase.master.ipc.address,否则在mac中会报Can’t assign requested address 无法启动rpc,但是没有日志显示这个配置是啥。
hbase.master.ipc.address localhost
##集成验证
在hbase shell中创建一个表,写入一条数据,检索。
- create ‘test’, ‘cf1’
- put ‘test’, ‘key1’, ‘cf1:col1’ , ‘value’
- scan ‘test’