HBase 源码阅读(二)

news/2024/9/16 9:27:53 标签: hbase, 数据库, 大数据

衔接

在上一篇文章中,HMasterCommandLine类中在startMaster();方法中

        // 这里除了启动HMaster之外,还启动一个HRegionServer
        LocalHBaseCluster cluster = new LocalHBaseCluster(conf, mastersCount, regionServersCount,
          LocalHMaster.class, HRegionServer.class);
        // 这里getMaster 会获取到HMaster吧
        ((LocalHMaster)cluster.getMaster(0)).setZKCluster(zooKeeperCluster);
        cluster.startup();
        waitOnMasterThreads(cluster);

使用了 cluster.startup(); 对HBase的主要进程进行启动

  public void startup() throws IOException {
    JVMClusterUtil.startup(this.masterThreads, this.regionThreads);
  }

1. JVMClusterUtil.java

public static String startup(final List<JVMClusterUtil.MasterThread> masters,
    final List<JVMClusterUtil.RegionServerThread> regionservers) throws IOException
    

这个函数上面,显示完成了HMaster的线程初始化,然后等到HMaster的线程初始化后,又调用了HRegionServer的线程初始化,但我发现HMaster线程在执行完run方法后,在run方法最后还执行了一遍super.run(),HMaster多执行了一次HRegionServer.run方法的目的是为了?

ChatGPT回答的可能原因

  1. 继承自公共的父类
  • 在HBase的实现中,HMasterHRegionServer都可能继承自一个共同的父类或实现了相同的接口(例如ThreadRunnable接口),该父类可能定义了一个run()方法,用于执行一些通用的逻辑。
  • HMaster在执行自己的run()方法后调用super.run()时,它可能是在执行父类中的通用逻辑。这种逻辑可能与线程的基础设施或资源管理有关,而不仅仅是特定于HRegionServer的逻辑。
  1. HMasterHRegionServer共享某些功能
  • HMasterHRegionServer虽然在职责上不同,但它们可能共享某些基础功能,比如网络通信、线程管理、资源分配等。父类中的run()方法可能封装了这些通用功能,因此HMaster在完成自己的工作后,调用super.run()来确保这些共享功能得以执行。
  • 这可能解释了为什么在HMasterrun()方法之后还要调用super.run():这是为了确保即使是HMaster,也能够执行一些HRegionServerHMaster共享的初始化或管理任务。
  1. 确保线程生命周期的完整性
  • super.run()的调用可能是为了确保线程的生命周期管理符合预期。例如,在某些实现中,父类的run()方法可能会处理线程的启动、暂停、恢复、终止等状态。如果不调用super.run(),可能会导致线程的状态管理不完整或不正确。

经过在HRegionServer.run 方法print 测试发现,HRegionServer.run在HMaster启动时调用了一次,在HR egionServer 线程启动时又调用了一次

带着这三个内容,我们去看HMaster run方法之后的HRegionServer run方法

2. HMaster.run() 方法

  public void run() {
    try {
      //用于控制是否在本地测试时启动一个完整的HBase集群
      if (!conf.getBoolean("hbase.testing.nocluster", false)) {
        Threads.setDaemonThreadRunning(new Thread(() -> {
          try {
            // 定义端口
            int infoPort = putUpJettyServer();
            // 启动MasterManager
            startActiveMasterManager(infoPort);
          } catch (Throwable t) {
            // Make sure we log the exception.
            String error = "Failed to become Active Master";
            LOG.error(error, t);
            // Abort should have been called already.
            if (!isAborted()) {
              abort(error, t);
            }
          }
        }), getName() + ":becomeActiveMaster");
      }
      // Fall in here even if we have been aborted. Need to run the shutdown services and
      // the super run call will do this for us.
      super.run();

HMaster的接口只是调用了startActiveMasterManager(infoPort); 对Master的一些基础内容进行初始化(具体内容请看HBase源码阅读(一)),然后又调用了一次HRegionServer的run方法

3. HRegionServer run方法

  1. HMaster.java.,HMaster run()线程启动临近结束后,再调用HRegionServer进程

仔细看HRegionServer.run方法,主要涉及HRegionServer的运行和启动

所以上一章节中的问题应该是第二个选型

  1. HMasterHRegionServer共享某些功能

HMaster 比HRegionServer在HMaster.run中多了一些内容

  • HMasterHRegionServer虽然在职责上不同,但它们可能共享某些基础功能,比如网络通信、线程管理、资源分配等。父类中的run()方法可能封装了这些通用功能,因此HMaster在完成自己的工作后,调用super.run()来确保这些共享功能得以执行。
  • 这可能解释了为什么在HMasterrun()方法之后还要调用super.run():这是为了确保即使是HMaster,也能够执行一些HRegionServerHMaster共享的初始化或管理任务。

4. HRegionServer.handleReportForDutyResponse()

简单过一下,用来启动所有的服务器线程

  1. 设置hostname
  2. 在zookeeper中设置Znode
  3. 初始化文件系统
  4. 设置已经初始化的副本和WAL
  5. 设置线程名称
  6. 启动暂停监视器
  7. 启动复制服务(启动复制源和接收器处理程序。)
  8. log zk的信息,唤醒其他所有等待该RegionServer 启动的其他节点

3.1 暂停监视器

JvmPauseMonitor的作用和功能

  1. 监控JVM暂停事件:
    • JvmPauseMonitor通过定期检查系统时间的变化来判断是否发生了JVM暂停。它会设置一个定时器,每隔一段固定的时间去检测系统的时间戳。如果时间戳的变化超过预期值,这通常意味着JVM暂停事件发生了。
  2. 检测长时间的GC停顿:
    • JVM暂停最常见的原因之一是垃圾收集(GC),尤其是Full GC或长时间的Stop-the-World(STW)事件。JvmPauseMonitor可以帮助检测这些事件,因为它们可能会导致HBase的RegionServer或者HMaster的服务性能下降,甚至导致客户端请求超时。
  3. 日志记录和报警:
    • JvmPauseMonitor检测到异常的暂停(通常超过一定阈值,例如几百毫秒或更长),它会记录警告日志。日志中会包括暂停的时长、可能的原因等信息。这有助于运维人员监控和分析系统的性能问题,尤其是在垃圾回收引起的问题上。
  4. 提高系统可靠性:
    • 通过监控和记录JVM暂停,JvmPauseMonitor帮助识别出可能影响HBase性能的问题,允许系统管理员采取预防或修复措施。尽管JvmPauseMonitor本身不会直接解决这些问题,但它提供了有价值的诊断信息,帮助识别和缓解性能瓶颈。

http://www.niftyadmin.cn/n/5643309.html

相关文章

SVD降维

文章目录 一、SVD降维的基本原理二、SVD降维的步骤三、SVD降维的优点四、SVD降维的应用五、代码应用六、SVD降维的局限性 一、SVD降维的基本原理 SVD是线性代数中的一种技术&#xff0c;它将一个矩阵A分解为三个矩阵的乘积&#xff1a;A UΣV^T。其中&#xff0c;U和V是正交矩…

【GPT】Coze使用开放平台接口-【4】创建机器人

在前面三篇&#xff0c;我们分别创建了插件&#xff0c;插件里面添加了多个工具。接着&#xff0c;我们把插件添加到工作流内&#xff0c;成为一个开放平台API的调用节点&#xff0c;从而创建出一条业务流。分别是&#xff0c;语音伪造检测工作流&#xff0c;以及通话语音内容分…

大语言模型的上下文窗口(Context Windows):对人工智能应用的影响

大语言模型&#xff08;LLMs&#xff09;极大地提升了人工智能在理解和生成类人文本方面的能力。其中一个影响其效用的基本方面是它们的 “上下文窗口”—— 这个概念直接影响着这些模型接收和生成语言的有效性。我将深入探讨上下文窗口是什么、它们对人工智能应用的影响以及组…

这应该是全网最详细的Vue3.5版本解读

版本号 这次的版本号是天元突破红莲螺岩&#xff0c;这是07年出的一个二次元动漫&#xff0c;作者是没看过的。在此之前我一直以为这次的版本号会叫黑神话&#xff1a;悟空&#xff0c;可能悟空不够二次元吧。 响应式 响应式相关的内容主要分为&#xff1a;重构响应式、响应式p…

MySQL主从复制和高可用

文章目录 主从复制原理主从相关线程复制基本流程复制相关文件主从复制的类型主从复制的优势和劣势 主从复制的配置主节点配置1.启动二进制日志2.设置全局唯一ID3.查看从二进制日志的文件和位置开始进行复制4.创建有复制权限的用户账号 从节点配置1.启动中继日志2.创建有复制权限…

2024.9.6

做题历程&#xff1a; 第一套 A. ladice B. card C. dojave D. drop 第二套 P9868 [NOIP2023] 词典 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) P9869 [NOIP2023] 三值逻辑 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) P9870 [NOIP2023] 双序列拓展 - 洛谷 | 计算机科学…

基于Java语言的光伏运维管理系统

背景 ‌光伏发电系统主要由‌‌太阳电池板&#xff08;组件&#xff09;、‌控制器和‌逆变器‌三大部分组成&#xff0c;主要部件由电子元器件构成。此外&#xff0c;光伏发电系统还包括‌变压器、‌光伏方阵以及相关辅助设施等。‌ 光伏发电系统是利用光伏电池的光生伏特效应…

ChauffeurNet:通过模仿最佳驾驶和合成最坏情况进行学习驾驶

ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst ChauffeurNet&#xff1a;通过模仿最佳驾驶和合成最坏情况进行学习驾驶 https://arxiv.org/abs/1812.03079 Abstract Our goal is to train a policy for autonomous driving via imit…