hbase启动

首页 >> 正文

hbase启动

来源：baiyundou.net 日期：2024-09-29

hbase+hive分布式存储数据恢复环境：

16台某品牌R730XD服务器节点，每台物理服务器节点上有数台虚拟机，虚拟机上配置的分布式，上层部署hbase数据库+hive数据仓库。

hbase+hive分布式存储故障&初检：

数据库文件被误删除，数据库无法使用。

通过现场对该分布式环境的初步检测，发现虚拟机还可以正常启动，虚拟机里面的数据库块文件丢失。好在块文件丢失之后没有对集群环境写入数据，底层数据损坏可能性比较小。

北亚企安数据恢复——hbase+hive数据恢复

hbase+hive分布式存储数据恢复方案：

1、备份。

A、从物理服务器底层做备份，将设备断电、关机。将所有磁盘编号后从服务器/存储中取出。

B、从虚拟机层面备份，通过网络直接备份虚拟机底层磁盘文件。

C、北亚企安数据恢复中心准备一台服务器以只读方式挂载服务器硬盘，对所有磁盘进行扇区对扇区的全盘镜像备份。

D、备份完成后提供详细报告，内容涉及所有磁盘的健康状态和存在的坏道列表。

E、将服务器硬盘按照编号还原到原服务器/存储设备中，之后数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。

北亚企安数据恢复——hbase+hive数据恢复

2、基于镜像文件分析块文件结构。

A、分析每个虚拟机磁盘的块文件。

B、分析文件底层的聚合方式。

C、分析磁盘中数据分布情况。

3、分析Block文件key。

A、定位数据库文件中的key信息。

B、提取并解析数据库文件中key信息。

C、整合数据库文件key信息。

4、拼接Block文件。

A、根据Block文件的key信息提取文件片段。

B、拼接Block文件的片段。

C、校验拼接后的Block文件的正确性。

5、导入Block文件。

A、校验提取出来的Block文件完整性和正确性。

B、把提取出来的Block文件导入到hbase和hive数据仓库中。

6、验证数据。

由用户对数据进行详细验证。如果发现问题则重新检验上面的恢复流程。

北亚企安数据恢复——数据恢复

","gnid":"9a38f1b2ea1c4532e","img_data":[{"flag":2,"img":[{"desc":"","height":"401","title":"","url":"https://p0.ssl.img.360kuai.com/t011cf518f0c06c45c9.jpg","width":"800"},{"desc":"","height":"516","title":"","url":"https://p0.ssl.img.360kuai.com/t015f08a01650782c46.jpg","width":"888"},{"desc":"","height":720,"title":"","url":"https://p0.ssl.img.360kuai.com/t011b0ec5f24489c344.jpg","width":1280}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1700798400000,"pure":"","rawurl":"http://zm.news.so.com/197400ff00bb6c15447af0f4cfaf65b4","redirect":0,"rptid":"751b626be555742c","rss_ext":[],"s":"t","src":"数据恢复资讯","tag":[{"clk":"ktechnology_1:block","k":"block","u":""}],"title":"分布式数据恢复-hbase+hive数据恢复方案

方邹淑1296到底要不要用hbase自带的zookeeper -
班群翟15674446280 ______ HBase的安装包里面有自带zookeeper的.很多系统部署也是直接启动上面的zookeeper.本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper.先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问...

方邹淑1296HBase是什么?为什么要使用HBase?
班群翟15674446280 ______ HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行的一些状态,非常轻巧.为什么采用HBase?HBase 不同于一般的关系数据库,它是一个适合于非结构化数...

方邹淑1296hbase是如何做到并发写的和随机写的 -
班群翟15674446280 ______ 阅读数:9381 Hbase概述 hbase是一个构建在HDFS上的分布式列存储系统.HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储.从逻辑上讲,HBase将数据按照表、行和列进行存储.如图所示,Hbase构建在...

方邹淑1296hbase1.2.4怎么创建表 -
班群翟15674446280 ______ 1. 启动hive,并连接到hbase./hive --auxpath /opt/apache/hive-0.12.0-bin/lib/hive_hbase-handler- 2. 创建内表 CREATE TABLE hive_123(word string, count bigint) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH ...

方邹淑1296hive hbase外部表怎么关联 -
班群翟15674446280 ______ 两种方式:一,建立一个hive和hbase公用的表,这样可以使用hive操作hbase的表,但是插入数据较慢,不建议这样做. 二,手写mapreduce,把hive里面的数据转换为hfile,然后倒入.hbase的mapreduce接口里面好像也有对应的api可以直接导入的.

方邹淑1296hbase master一定要部署在namenode上吗 -
班群翟15674446280 ______ 不是的,你可以部署在其他服务器上

方邹淑1296通过url怎样查看mapreduce启动成功 -
班群翟15674446280 ______ 首先,一个job具体启动多少个map,是由你配置的inputformat来决定的.inputformat在分配任务之前会对输入进行切片.最终启动的map数目,就是切片的结果数目.具体来看一、如果使用是自定义的inputformat,那么启动多少个map 需要获取mapreduce的运行信息,比如运行状态,map,reduce的执行进度. hadoop 50030端口提供web ui服务,没找到提供json或者xml的服务方式. 于是,查找hadoop 50030的加载

（编辑：自媒体）