简介这是一份HBase入门实验报告面向正在学习Hadoop生态与NoSQL数据库的初学者重点演示如何通过HBase Shell完成创建表、插入数据与查询操作。报告以student表为例梳理了建表语句、put写入和get查询的具体命令并记录了启动HBase Shell时容易忽略的环境配置问题与排查思路。资源为单个PDF文件大小454KB内容精炼既适合课内实验参考也适合考前快速回顾。目前已有4238人学习下载。报告中还简要讨论了Row Key设计对查询性能的影响可帮助读者更好地理解HBase的基本数据模型与操作流程。1. 一次卡在 hbase shell 启动上的实验暴露了最值钱的学习路径这份实验报告里最有价值的不是那几条 put 命令而是最后的「问题与讨论」一开始直接敲 HBase 命令压根没想到要先启动 hbase shell查半天资料才发现命令行还没起来。这个场景我见过太多次很多刚接触 NoSQL 的人把 HBase 当成 MySQL以为装好就能连结果第一步就死在环境上。其实 HBase Shell 是运维、开发和调优共同的入口后面无论你是写 Java API、接 Sqoop 还是做 Row Key 设计最终还是得回到这张表的结构是否合理。本篇按「建表 → 写入 → 查询 → 排错 → 进阶」的顺序把这份实验还原成一个能完整跑通的流程并补上端口清单、列族设计、脚本批处理和 Java/Sqoop 衔接这些报告里没展开的细节新手能照做熟手也能看到 shell 操作里那些容易被忽略的边界。2. 建表前先想清楚结构列族划分、Row Key 与物理存储的对应关系2.1 原实验表结构在 HBase 里到底该怎么映射原实验表把字段分成三块Row Key、addressprovince/city/street、scoreJava/Hadoop/Math。这种两级结构很容易让人误解 HBase 里也能随便嵌套实际上 HBase 只有一层列族列族下面才是列限定符qualifier。所以正确的映射方式有两种一是把 address 和 score 设计成两个列族用address:province、score:Java表达两层关系另一种是原报告里简化的做法只建一个列族info把所有字段都压成info:address、info:Java这种扁平限定符。生产环境我更推荐第一种原因在于 HBase 的存储模型是「按列族独立落盘」的。把 address 和 score 拆成两个列族意味着省份、城市、街道这些低频但一次就读全的字段与 Java、Hadoop 这种成绩数据分开存放Region 在做 flush 和 compaction 时不会互相拖累。列族数量要克制一般 1 到 3 个多了会让 memstore 数量膨胀、flush 放大少了又会让冷热数据混在一起。实验表恰好是天然的二分结构直接建两个列族create student_1, {NAME address, VERSIONS 1, BLOCKCACHE true}, {NAME score, VERSIONS 3, COMPRESSION SNAPPY}这条命令里NAME是必须的列族名VERSIONS控制该列族下每个单元格最多保留几个历史版本BLOCKCACHE表示读取时是否把块缓存在内存COMPRESSION指定 HFile 的压缩算法。生产环境通常给热数据列族开 BLOCKCACHE给写多读少的列族设置较小的 VERSIONS 来降低存储放大。实验环境没有特殊要求但把两个列族独立建出来后续做 get 查询时的语义会比单列族清晰得多。2.2 Row Key 设计为什么拿姓名当主键不是个好主意原实验直接用zhangsan、lisi当 Row Key对教学演示没问题但你要知道这在实际分布式环境里是个隐患。HBase 按 Row Key 字典序分片连续短小的字符串会落到同一个 Region写入全打在一台 RegionServer 上形成所谓的热点。我一般会给 Row Key 做加盐处理比如取姓名的哈希前四位拼上原值put student_1, 0f3a_zhangsan, address:province, guangdong加盐把有序的姓名打散到不同的 Region 上去换来的是写入吞吐代价是范围扫描变难。面试里常问的「HBase 表怎么设计 Row Key」其实就是在考察你能不能在这两者之间权衡。另一个通用原则是 Row Key 尽量短因为 Row Key 在每个单元格的 KeyValue 里都要存一遍一个 200 字节的 Row Key 在千万行级别就是几个 GB 的冗余。拿姓名当 Row Key 时还要注意编码问题中文 Row Key 在 shell 里显示和排序都容易踩坑实验环境没事生产环境尽量用 ASCII 字符串或者数字 ID。候选 Row Key优点缺点适用场景姓名原值可读性高、单行 get 快字典序连续、易热点教学演示、小数据量哈希加盐前缀写入均匀分布范围扫描无法直接做高并发写入日志类倒序时间戳新数据在一个 Region 内连续时间太早的数据成冷数据时序数据业务 ID 时间戳单实体数据聚簇ID 过长时体积膨胀用户行为明细2.3 命名空间与表名为什么建表用的是 student_1原实验报告建表命令写的是create student_1, info命名带了下划线这很可能是你重复执行实验时为了避免同名冲突。HBase 表的完整路径是「命名空间:表名」不写命名空间时默认进default所以刚才创建的两列族表实际是default:student_1。命名空间在 HBase 里主要用来做资源隔离和配额管理生产环境常见的是把不同业务线拆到不同 namespace 下方便统一设权限。相关操作虽然这次没用到但排查环境时会遇到list_namespace describe_namespace default listlist_namespace查看当前集群有哪些命名空间describe_namespace看指定命名空间的配置list列出所有表并且会显示完整表名。如果list输出里出现table {NAMESPACE default, NAME student_1}这种格式说明表已经建到 default 下了。排错时看表是否存在先跑这三条命令比直接 get 要快得多因为 TableNotFoundException 和连不上集群是两个不同层面的问题后面会展开讲。3. put 数据与版本机制把表格数据翻译成单元格3.1 put 命令的参数顺序和执行细节在双列族设计下原实验的 12 条数据可以整理成下面这组 put 语句注意每个单元格都是独立写入一条 put 只写一个 cell没有「整行覆盖」的概念put student_1, zhangsan, address:province, guangdong put student_1, zhangsan, address:city, guangzhou put student_1, zhangsan, address:street, yinglonglu put student_1, zhangsan, score:Java, 85 put student_1, zhangsan, score:Hadoop, 80 put student_1, zhangsan, score:Math, 90 put student_1, lisi, address:province, guangxi put student_1, lisi, address:city, guilin put student_1, lisi, address:street, putuolu put student_1, lisi, score:Java, 87 put student_1, lisi, score:Hadoop, 82 put student_1, lisi, score:Math, 78put 命令的标准格式是put table, rowkey, column family:qualifier, value, [timestamp]。score:Java中冒号前是列族名冒号后是列限定符两者缺一不可这是 HBase 中定位一个单元格的最小单位。为什么我把成绩列的 VERSIONS 设成了 3 而地址列设 1因为成绩会改、会补考需要保留历史版本做对比而地址一般长时间不变。HBase 默认不覆盖旧值它靠时间戳区分版本你不显式传时间戳时就用服务器当前毫秒数所以同一行同一列连续 put 多次出来的不是覆盖而是多个版本。写入之后可以先用scan或者get验证布局直接看 shell 输出里的列族归属get student_1, zhangsan返回结果里每一行是一个单元格格式类似address:cityguangzhou, timestamp...。你会发现 zhangsan 这个逻辑行在物理上被拆成了 address 和 score 两个片段分别存在各自列族的 HFile 里这正是列族独立存储的直观体现。之前做实验看 GET 只看到值建议你多看一眼 timestamp 和列族前缀这比背命令有用得多。3.2 批量写入把实验操作变成可重复执行的脚本手工逐条敲 put 在 12 条数据时还能忍真实项目一次导入几百万行就完全不现实了。常见做法是把 shell 命令写进一个.hbase脚本文件用hbase shell script.hbase批量执行这样每次重建环境不用重新敲一遍。我把前面所有 put 语句保存成student_data.hbase执行方式如下hbase shell student_data.hbase脚本文件里一行一条语句不需要分号也不需要引号包裹整行HBase 自带的 JLine 会把每行当作一条命令解析。脚本执行完会逐条打印结果你可以在每行末尾加上 TAB 缩进注释HBase shell 会忽略注释文本但要注意文件必须存成 UTF-8带中文注释时若编码不对会直接报 syntax error。另一种更轻量的方式是管道传入echo put student_1,zhangsan,score:Hadoop,80 | hbase shell这种方式适合现场单条调试不适合批量。我实际做导入时一般先生成 shell 脚本再执行如果数据量超过几十万行就换用 BulkLoad先 HFile 再入 Region比逐条 put 快一个数量级但这就是另一个话题了。至少在这个实验里把 put 语句和建表语句分别存成两个脚本文件能让你反复删表建表时少踩一半的坑。3.3 版本、时间戳与误操作恢复删表和重建是最快的恢复方式但如果只想回退一个误写的成绩VERSIONS 就能派上用场。假设 lisi 的 Hadoop 成绩先写成了 82后来又补了一个 85这时如果列族的 VERSIONS 大于等于 2历史版本还在get student_1, lisi, {COLUMN score:Hadoop, VERSIONS 3}这条 get 会返回该单元格最近的三个版本每行带 timestamp。如果你要物理删除某个版本的单元格需要用 delete 显式指定时间戳delete student_1, lisi, score:Hadoop, 1735000000000注意 delete 不指定列时删的是整行所有列指定列族时删该列族下所有单元格指定到列限定符和 timestamp 时才精确删除某个版本。这个层级关系在面试里也常被问本质就是 HBase 的 KeyValue 分层Row Key → 列族 → 列限定符 → 时间戳 → 值。VERSIONS 设太大不是好事每个版本都占磁盘compaction 时需要额外合并设太小又无法追溯所以生产环境要根据数据变更频率来定这也是为什么建表时把 score 列族设成 3、address 列族设成 1 的原因。4. get 与 scan查询路径、参数化返回和排错方法4.1 get 单行查询与列族限定实验要求两条查询查 zhangsan 的地址查 lisi 的 Hadoop 成绩。在我这版双列族结构下第一条可以精确到列限定符也可以整个列族一把捞回来get student_1, zhangsan, {COLUMN address:city} get student_1, zhangsan, {COLUMN address}第一条返回address:cityguangzhou第二条返回 zhangsan 地址列族下所有 cell也就是 province、city、street 三个字段。实验报告里写的是查地址原表把 address 当分组所以我一般建议用第二种查这个列族的全部内容更贴合题意。第二条查询对应的是成绩get student_1, lisi, {COLUMN score:Hadoop}返回score:Hadoop82。get 的定位逻辑是 Row Key 精确匹配后在返回结果里按 COLUMN 过滤列族和限定符所以即使 lisi 的 Row Key 在某个 Region 的中间位置HBase 也能通过 Row Key 索引直接定位到那个 Region再在 Region 内查 memstore 和 HFile这是一次点查不需要扫全表。查询时用的{COLUMN ...}花括号写法在 HBase Shell 里会被解析成字典参数你也可以直接简写成get student_1, lisi, score:Hadoop两者等效但做成脚本时花括号写法可读性更好方便后续加 VERSIONS 或 TIMESTAMP 参数。场景命令数据返回范围性能提示精确一行一列get 表,row,cf:qualifier单个 cell走点查路径快精确一行一个列族get 表,row,{COLUMNcf}列族下全部单元格避免用 FILTER 扫全表多行精确匹配scan 表,{STARTROW..., ENDROW...}Row Key 范围控制 LIMIT 参数行数不确定scan 表,{FILTER...}过滤后全部行全表扫描慎用4.2 scan 范围扫描与过滤器实验没要求 scan但纯 get 只能覆盖点查实际使用中查「所有广东的学生」「所有成绩大于 80 的人」就必须用 scan。这个实验表只有两行scan 全表没问题但你要清楚 scan 在底层是 Region 上的顺序扫描数据量大时返回行数不可控。先看最基础的scan student_1, {LIMIT 10} scan student_1, {STARTROW lisi, ENDROW zhangsan\000, LIMIT 10}第一条返回前 10 行第二条按字典序从 lisi 开始取zhangsan\000是字典序包含技巧确保把 zhangsan 这一行也包含进来因为 end 行是不包含在结果里的。这里最容易犯的错是直接用ENDROW zhangsan这样会少了 zhangsan 本身查询结果不完整。过滤需求则要交给 FilterList 和单条件过滤器scan student_1, {FILTER ValueFilter(, substring:80)} scan student_1, {FILTER ColumnPrefixFilter(Hadoop)}第一条返回所有值包含 80 的单元格第二条返回所有列限定符以 Hadoop 开头的单元格。过滤器写起来像字符串其实会被解析成服务端的过滤器对象执行在 RegionServer 上所以比把数据拉到客户端再过滤要快但要记住它是串行扫全表的没有全局索引生产环境大表上用 Filter 做首查条件基本是灾难。克制使用过滤器的场景优先改 Row Key 设计或者引入二级索引方案比如用 Phoenix 或自建索引表。4.3 连不上、超时、找不到表从服务端口开始排查实验报告的「问题与讨论」里提到启动 hbase shell 卡了半天这里把根因和排查路径一次说透。hbase shell 能启动和能连上集群是两回事前者只需要本地安装好 HBase 客户端后者需要 Master 和 ZooKeeper 可访问。连不上时依次查三件事服务有没有起、ZooKeeper 在哪、端口对不对。组件默认端口用途HBase Master Web UI16010浏览器看 Region 分配和表状态HBase Master RPC16000客户端与 Master 通信RegionServer RPC16020数据读写实际走这里RegionServer Web UI16030查看单台 RegionServer 状态ZooKeeper2181协调和 Master 选举旧版本 HBase0.98 之前用过 60000/60010 端口如果你的集群是 CDH 封装或自编译版本端口以 hbase-site.xml 里的为准不要死记。启动 hbase shell 报Could not connect to ZooKeeper时先去 ZooKeeper 那台机器上看 2181 有没有监听报Connection refused时去 Master 和 RegionServer 所在机器上看 16000/16020。还有个高频问题是在没启动 Hadoop 的情况下直接启 HBaseHBase 要依赖 HDFS 做持久化hbase-site.xml 里hbase.rootdir如果指向hdfs://那 HDFS 必须已走安全模式。实验环境里最简单的验证办法是在 hbase shell 里先跑status summary liststatus 能看到在线 RegionServer 数量list 能看到表是否存在。这两个命令通了说明集群基本健康后续查询再报错才是表和 Row Key 层面的问题。别在连不上集群的时候反复试 put 和 get那只会让错误信息越来越难分辨。5. 实验之外的进阶Shell 批处理、Java API 与 Sqoop 的衔接5.1 用脚本一次完成建表、导数和清理把整个实验收敛成一个幂等脚本重新执行不需要人工干预这是从实验走向工程的第一步。脚本首部先删旧表disable student_1 drop student_1 create student_1, {NAME address, VERSIONS 1}, {NAME score, VERSIONS 3}disable 的作用是把表下线drop 之前必须 disable这是 HBase 删除表的固定顺序。直接 drop 会报错因为 HBase 不允许删除一个还在接受写入的表。脚本里故意把 disable/drop/create 放在同一份文件里执行就算第二次跑也会先把上次残留清掉不会撞表名。这个脚本化习惯在 CI/CD 里很实用测试环境重建表只需要一条命令hbase shell init_student.hb。5.2 从 shell 到 Java API同一份表结构换一种操作方式Shell 命令学会后要能翻译成 Java API因为生产环境的数据写入和读取基本走代码。同一个 put 操作在 Java 里是这样Configuration conf HBaseConfiguration.create(); try (Connection conn ConnectionFactory.createConnection(conf); Table table conn.getTable(TableName.valueOf(student_1))) { Put put new Put(Bytes.toBytes(zhangsan)); put.addColumn(Bytes.toBytes(score), Bytes.toBytes(Hadoop), Bytes.toBytes(80)); table.put(put); }new Put对应 shell 里的 Row Key 参数addColumn对应 put 命令里的列族:限定符和值table.put提交写入。shell 里的get换成Get对象table.get(get)返回Result再按列族、限定符取出字节数组。Connection 是线程安全的一个进程只建一次不要每次操作都 new这是 Java 客户端最常见的性能坑。对比着看你会发现shell 只是 Java API 的命令行封装理解了列族和限定符的分层两边就能互相翻译。5.3 从关系库导数据Sqoop 操作 HBase 时的列族限制最后说一个很实际的衔接场景业务数据在 MySQL想灌进 HBase。Sqoop 支持直连 HBase命令大致是这个形态sqoop import \ --connect jdbc:mysql://localhost:3306/test \ --username root --password secret \ --table student \ --hbase-table student_1 \ --column-family score \ --hbase-row-key name--hbase-table指定写入的 HBase 表名--column-family把所有字段写进同一个列族--hbase-row-key指定 MySQL 哪一列作为 Row Key。限制就在这里Sqoop 的 HBase 写入只能指定一个列族多列族时要么写两次要么先全量进一个列族再用程序拆分。上面例子里的学生表如果把地址和成绩分列族存储Sqoop 一次只能灌一半需要跑两个 import 分别指定--column-family address和--column-family score。所以当你决定用 Sqoop 做 RDBMS 到 HBase 的同步时列族设计直接影响导入脚本的复杂度这也是为什么我在第 2 章反复强调列族要按写入路径来定而不是按业务语义想当然地去分。本文还有配套的精品资源点击获取
简介这是一份HBase入门实验报告面向正在学习Hadoop生态与NoSQL数据库的初学者重点演示如何通过HBase Shell完成创建表、插入数据与查询操作。报告以student表为例梳理了建表语句、put写入和get查询的具体命令并记录了启动HBase Shell时容易忽略的环境配置问题与排查思路。资源为单个PDF文件大小454KB内容精炼既适合课内实验参考也适合考前快速回顾。目前已有4238人学习下载。报告中还简要讨论了Row Key设计对查询性能的影响可帮助读者更好地理解HBase的基本数据模型与操作流程。1. 一次卡在 hbase shell 启动上的实验暴露了最值钱的学习路径这份实验报告里最有价值的不是那几条 put 命令而是最后的「问题与讨论」一开始直接敲 HBase 命令压根没想到要先启动 hbase shell查半天资料才发现命令行还没起来。这个场景我见过太多次很多刚接触 NoSQL 的人把 HBase 当成 MySQL以为装好就能连结果第一步就死在环境上。其实 HBase Shell 是运维、开发和调优共同的入口后面无论你是写 Java API、接 Sqoop 还是做 Row Key 设计最终还是得回到这张表的结构是否合理。本篇按「建表 → 写入 → 查询 → 排错 → 进阶」的顺序把这份实验还原成一个能完整跑通的流程并补上端口清单、列族设计、脚本批处理和 Java/Sqoop 衔接这些报告里没展开的细节新手能照做熟手也能看到 shell 操作里那些容易被忽略的边界。2. 建表前先想清楚结构列族划分、Row Key 与物理存储的对应关系2.1 原实验表结构在 HBase 里到底该怎么映射原实验表把字段分成三块Row Key、addressprovince/city/street、scoreJava/Hadoop/Math。这种两级结构很容易让人误解 HBase 里也能随便嵌套实际上 HBase 只有一层列族列族下面才是列限定符qualifier。所以正确的映射方式有两种一是把 address 和 score 设计成两个列族用address:province、score:Java表达两层关系另一种是原报告里简化的做法只建一个列族info把所有字段都压成info:address、info:Java这种扁平限定符。生产环境我更推荐第一种原因在于 HBase 的存储模型是「按列族独立落盘」的。把 address 和 score 拆成两个列族意味着省份、城市、街道这些低频但一次就读全的字段与 Java、Hadoop 这种成绩数据分开存放Region 在做 flush 和 compaction 时不会互相拖累。列族数量要克制一般 1 到 3 个多了会让 memstore 数量膨胀、flush 放大少了又会让冷热数据混在一起。实验表恰好是天然的二分结构直接建两个列族create student_1, {NAME address, VERSIONS 1, BLOCKCACHE true}, {NAME score, VERSIONS 3, COMPRESSION SNAPPY}这条命令里NAME是必须的列族名VERSIONS控制该列族下每个单元格最多保留几个历史版本BLOCKCACHE表示读取时是否把块缓存在内存COMPRESSION指定 HFile 的压缩算法。生产环境通常给热数据列族开 BLOCKCACHE给写多读少的列族设置较小的 VERSIONS 来降低存储放大。实验环境没有特殊要求但把两个列族独立建出来后续做 get 查询时的语义会比单列族清晰得多。2.2 Row Key 设计为什么拿姓名当主键不是个好主意原实验直接用zhangsan、lisi当 Row Key对教学演示没问题但你要知道这在实际分布式环境里是个隐患。HBase 按 Row Key 字典序分片连续短小的字符串会落到同一个 Region写入全打在一台 RegionServer 上形成所谓的热点。我一般会给 Row Key 做加盐处理比如取姓名的哈希前四位拼上原值put student_1, 0f3a_zhangsan, address:province, guangdong加盐把有序的姓名打散到不同的 Region 上去换来的是写入吞吐代价是范围扫描变难。面试里常问的「HBase 表怎么设计 Row Key」其实就是在考察你能不能在这两者之间权衡。另一个通用原则是 Row Key 尽量短因为 Row Key 在每个单元格的 KeyValue 里都要存一遍一个 200 字节的 Row Key 在千万行级别就是几个 GB 的冗余。拿姓名当 Row Key 时还要注意编码问题中文 Row Key 在 shell 里显示和排序都容易踩坑实验环境没事生产环境尽量用 ASCII 字符串或者数字 ID。候选 Row Key优点缺点适用场景姓名原值可读性高、单行 get 快字典序连续、易热点教学演示、小数据量哈希加盐前缀写入均匀分布范围扫描无法直接做高并发写入日志类倒序时间戳新数据在一个 Region 内连续时间太早的数据成冷数据时序数据业务 ID 时间戳单实体数据聚簇ID 过长时体积膨胀用户行为明细2.3 命名空间与表名为什么建表用的是 student_1原实验报告建表命令写的是create student_1, info命名带了下划线这很可能是你重复执行实验时为了避免同名冲突。HBase 表的完整路径是「命名空间:表名」不写命名空间时默认进default所以刚才创建的两列族表实际是default:student_1。命名空间在 HBase 里主要用来做资源隔离和配额管理生产环境常见的是把不同业务线拆到不同 namespace 下方便统一设权限。相关操作虽然这次没用到但排查环境时会遇到list_namespace describe_namespace default listlist_namespace查看当前集群有哪些命名空间describe_namespace看指定命名空间的配置list列出所有表并且会显示完整表名。如果list输出里出现table {NAMESPACE default, NAME student_1}这种格式说明表已经建到 default 下了。排错时看表是否存在先跑这三条命令比直接 get 要快得多因为 TableNotFoundException 和连不上集群是两个不同层面的问题后面会展开讲。3. put 数据与版本机制把表格数据翻译成单元格3.1 put 命令的参数顺序和执行细节在双列族设计下原实验的 12 条数据可以整理成下面这组 put 语句注意每个单元格都是独立写入一条 put 只写一个 cell没有「整行覆盖」的概念put student_1, zhangsan, address:province, guangdong put student_1, zhangsan, address:city, guangzhou put student_1, zhangsan, address:street, yinglonglu put student_1, zhangsan, score:Java, 85 put student_1, zhangsan, score:Hadoop, 80 put student_1, zhangsan, score:Math, 90 put student_1, lisi, address:province, guangxi put student_1, lisi, address:city, guilin put student_1, lisi, address:street, putuolu put student_1, lisi, score:Java, 87 put student_1, lisi, score:Hadoop, 82 put student_1, lisi, score:Math, 78put 命令的标准格式是put table, rowkey, column family:qualifier, value, [timestamp]。score:Java中冒号前是列族名冒号后是列限定符两者缺一不可这是 HBase 中定位一个单元格的最小单位。为什么我把成绩列的 VERSIONS 设成了 3 而地址列设 1因为成绩会改、会补考需要保留历史版本做对比而地址一般长时间不变。HBase 默认不覆盖旧值它靠时间戳区分版本你不显式传时间戳时就用服务器当前毫秒数所以同一行同一列连续 put 多次出来的不是覆盖而是多个版本。写入之后可以先用scan或者get验证布局直接看 shell 输出里的列族归属get student_1, zhangsan返回结果里每一行是一个单元格格式类似address:cityguangzhou, timestamp...。你会发现 zhangsan 这个逻辑行在物理上被拆成了 address 和 score 两个片段分别存在各自列族的 HFile 里这正是列族独立存储的直观体现。之前做实验看 GET 只看到值建议你多看一眼 timestamp 和列族前缀这比背命令有用得多。3.2 批量写入把实验操作变成可重复执行的脚本手工逐条敲 put 在 12 条数据时还能忍真实项目一次导入几百万行就完全不现实了。常见做法是把 shell 命令写进一个.hbase脚本文件用hbase shell script.hbase批量执行这样每次重建环境不用重新敲一遍。我把前面所有 put 语句保存成student_data.hbase执行方式如下hbase shell student_data.hbase脚本文件里一行一条语句不需要分号也不需要引号包裹整行HBase 自带的 JLine 会把每行当作一条命令解析。脚本执行完会逐条打印结果你可以在每行末尾加上 TAB 缩进注释HBase shell 会忽略注释文本但要注意文件必须存成 UTF-8带中文注释时若编码不对会直接报 syntax error。另一种更轻量的方式是管道传入echo put student_1,zhangsan,score:Hadoop,80 | hbase shell这种方式适合现场单条调试不适合批量。我实际做导入时一般先生成 shell 脚本再执行如果数据量超过几十万行就换用 BulkLoad先 HFile 再入 Region比逐条 put 快一个数量级但这就是另一个话题了。至少在这个实验里把 put 语句和建表语句分别存成两个脚本文件能让你反复删表建表时少踩一半的坑。3.3 版本、时间戳与误操作恢复删表和重建是最快的恢复方式但如果只想回退一个误写的成绩VERSIONS 就能派上用场。假设 lisi 的 Hadoop 成绩先写成了 82后来又补了一个 85这时如果列族的 VERSIONS 大于等于 2历史版本还在get student_1, lisi, {COLUMN score:Hadoop, VERSIONS 3}这条 get 会返回该单元格最近的三个版本每行带 timestamp。如果你要物理删除某个版本的单元格需要用 delete 显式指定时间戳delete student_1, lisi, score:Hadoop, 1735000000000注意 delete 不指定列时删的是整行所有列指定列族时删该列族下所有单元格指定到列限定符和 timestamp 时才精确删除某个版本。这个层级关系在面试里也常被问本质就是 HBase 的 KeyValue 分层Row Key → 列族 → 列限定符 → 时间戳 → 值。VERSIONS 设太大不是好事每个版本都占磁盘compaction 时需要额外合并设太小又无法追溯所以生产环境要根据数据变更频率来定这也是为什么建表时把 score 列族设成 3、address 列族设成 1 的原因。4. get 与 scan查询路径、参数化返回和排错方法4.1 get 单行查询与列族限定实验要求两条查询查 zhangsan 的地址查 lisi 的 Hadoop 成绩。在我这版双列族结构下第一条可以精确到列限定符也可以整个列族一把捞回来get student_1, zhangsan, {COLUMN address:city} get student_1, zhangsan, {COLUMN address}第一条返回address:cityguangzhou第二条返回 zhangsan 地址列族下所有 cell也就是 province、city、street 三个字段。实验报告里写的是查地址原表把 address 当分组所以我一般建议用第二种查这个列族的全部内容更贴合题意。第二条查询对应的是成绩get student_1, lisi, {COLUMN score:Hadoop}返回score:Hadoop82。get 的定位逻辑是 Row Key 精确匹配后在返回结果里按 COLUMN 过滤列族和限定符所以即使 lisi 的 Row Key 在某个 Region 的中间位置HBase 也能通过 Row Key 索引直接定位到那个 Region再在 Region 内查 memstore 和 HFile这是一次点查不需要扫全表。查询时用的{COLUMN ...}花括号写法在 HBase Shell 里会被解析成字典参数你也可以直接简写成get student_1, lisi, score:Hadoop两者等效但做成脚本时花括号写法可读性更好方便后续加 VERSIONS 或 TIMESTAMP 参数。场景命令数据返回范围性能提示精确一行一列get 表,row,cf:qualifier单个 cell走点查路径快精确一行一个列族get 表,row,{COLUMNcf}列族下全部单元格避免用 FILTER 扫全表多行精确匹配scan 表,{STARTROW..., ENDROW...}Row Key 范围控制 LIMIT 参数行数不确定scan 表,{FILTER...}过滤后全部行全表扫描慎用4.2 scan 范围扫描与过滤器实验没要求 scan但纯 get 只能覆盖点查实际使用中查「所有广东的学生」「所有成绩大于 80 的人」就必须用 scan。这个实验表只有两行scan 全表没问题但你要清楚 scan 在底层是 Region 上的顺序扫描数据量大时返回行数不可控。先看最基础的scan student_1, {LIMIT 10} scan student_1, {STARTROW lisi, ENDROW zhangsan\000, LIMIT 10}第一条返回前 10 行第二条按字典序从 lisi 开始取zhangsan\000是字典序包含技巧确保把 zhangsan 这一行也包含进来因为 end 行是不包含在结果里的。这里最容易犯的错是直接用ENDROW zhangsan这样会少了 zhangsan 本身查询结果不完整。过滤需求则要交给 FilterList 和单条件过滤器scan student_1, {FILTER ValueFilter(, substring:80)} scan student_1, {FILTER ColumnPrefixFilter(Hadoop)}第一条返回所有值包含 80 的单元格第二条返回所有列限定符以 Hadoop 开头的单元格。过滤器写起来像字符串其实会被解析成服务端的过滤器对象执行在 RegionServer 上所以比把数据拉到客户端再过滤要快但要记住它是串行扫全表的没有全局索引生产环境大表上用 Filter 做首查条件基本是灾难。克制使用过滤器的场景优先改 Row Key 设计或者引入二级索引方案比如用 Phoenix 或自建索引表。4.3 连不上、超时、找不到表从服务端口开始排查实验报告的「问题与讨论」里提到启动 hbase shell 卡了半天这里把根因和排查路径一次说透。hbase shell 能启动和能连上集群是两回事前者只需要本地安装好 HBase 客户端后者需要 Master 和 ZooKeeper 可访问。连不上时依次查三件事服务有没有起、ZooKeeper 在哪、端口对不对。组件默认端口用途HBase Master Web UI16010浏览器看 Region 分配和表状态HBase Master RPC16000客户端与 Master 通信RegionServer RPC16020数据读写实际走这里RegionServer Web UI16030查看单台 RegionServer 状态ZooKeeper2181协调和 Master 选举旧版本 HBase0.98 之前用过 60000/60010 端口如果你的集群是 CDH 封装或自编译版本端口以 hbase-site.xml 里的为准不要死记。启动 hbase shell 报Could not connect to ZooKeeper时先去 ZooKeeper 那台机器上看 2181 有没有监听报Connection refused时去 Master 和 RegionServer 所在机器上看 16000/16020。还有个高频问题是在没启动 Hadoop 的情况下直接启 HBaseHBase 要依赖 HDFS 做持久化hbase-site.xml 里hbase.rootdir如果指向hdfs://那 HDFS 必须已走安全模式。实验环境里最简单的验证办法是在 hbase shell 里先跑status summary liststatus 能看到在线 RegionServer 数量list 能看到表是否存在。这两个命令通了说明集群基本健康后续查询再报错才是表和 Row Key 层面的问题。别在连不上集群的时候反复试 put 和 get那只会让错误信息越来越难分辨。5. 实验之外的进阶Shell 批处理、Java API 与 Sqoop 的衔接5.1 用脚本一次完成建表、导数和清理把整个实验收敛成一个幂等脚本重新执行不需要人工干预这是从实验走向工程的第一步。脚本首部先删旧表disable student_1 drop student_1 create student_1, {NAME address, VERSIONS 1}, {NAME score, VERSIONS 3}disable 的作用是把表下线drop 之前必须 disable这是 HBase 删除表的固定顺序。直接 drop 会报错因为 HBase 不允许删除一个还在接受写入的表。脚本里故意把 disable/drop/create 放在同一份文件里执行就算第二次跑也会先把上次残留清掉不会撞表名。这个脚本化习惯在 CI/CD 里很实用测试环境重建表只需要一条命令hbase shell init_student.hb。5.2 从 shell 到 Java API同一份表结构换一种操作方式Shell 命令学会后要能翻译成 Java API因为生产环境的数据写入和读取基本走代码。同一个 put 操作在 Java 里是这样Configuration conf HBaseConfiguration.create(); try (Connection conn ConnectionFactory.createConnection(conf); Table table conn.getTable(TableName.valueOf(student_1))) { Put put new Put(Bytes.toBytes(zhangsan)); put.addColumn(Bytes.toBytes(score), Bytes.toBytes(Hadoop), Bytes.toBytes(80)); table.put(put); }new Put对应 shell 里的 Row Key 参数addColumn对应 put 命令里的列族:限定符和值table.put提交写入。shell 里的get换成Get对象table.get(get)返回Result再按列族、限定符取出字节数组。Connection 是线程安全的一个进程只建一次不要每次操作都 new这是 Java 客户端最常见的性能坑。对比着看你会发现shell 只是 Java API 的命令行封装理解了列族和限定符的分层两边就能互相翻译。5.3 从关系库导数据Sqoop 操作 HBase 时的列族限制最后说一个很实际的衔接场景业务数据在 MySQL想灌进 HBase。Sqoop 支持直连 HBase命令大致是这个形态sqoop import \ --connect jdbc:mysql://localhost:3306/test \ --username root --password secret \ --table student \ --hbase-table student_1 \ --column-family score \ --hbase-row-key name--hbase-table指定写入的 HBase 表名--column-family把所有字段写进同一个列族--hbase-row-key指定 MySQL 哪一列作为 Row Key。限制就在这里Sqoop 的 HBase 写入只能指定一个列族多列族时要么写两次要么先全量进一个列族再用程序拆分。上面例子里的学生表如果把地址和成绩分列族存储Sqoop 一次只能灌一半需要跑两个 import 分别指定--column-family address和--column-family score。所以当你决定用 Sqoop 做 RDBMS 到 HBase 的同步时列族设计直接影响导入脚本的复杂度这也是为什么我在第 2 章反复强调列族要按写入路径来定而不是按业务语义想当然地去分。本文还有配套的精品资源点击获取
