benchmark是什么
Benchmark（基准测试）是用来评估、比较和优化系统、软件或硬件性能的一种测试方法。它通常用于测量代码、算法、硬件设备或整个系统在特定操作下的执行效率，帮助开发者了解不同方案的性能差异，从而做出优化和决策。
在编程和开发中，基准测试通常用来：
测量代码执行时间（延迟、响应时间）
测量资源使用情况（内存、CPU、磁盘I/O等）
比较不同算法、数据结构或设计的性能
基准测试的常见目的
性能比较： 评估不同实现方式、算法或平台之间的性能差异。性能优化： 找出性能瓶颈，并基于测试结果优化代码或硬件配置。容量规划： 预测系统在特定负载下的性能表现，帮助做出系统扩展的决策。回归测试： 确保在改进或更改代码时，性能不会退化。
基准测试的一些常见度量标准
吞吐量（Throughput）： 系统在单位时间内处理的任务数量，例如每秒处理的请求数量。延迟（Latency）： 系统响应一个请求所需的时间，通常以毫秒为单位。CPU使用率（CPU Utilization）： 系统运行时CPU的使用情况。内存占用（Memory Usage）： 程序运行时消耗的内存量。I/O 操作： 系统与硬盘、网络的交互速度和效率。
Java 中的基准测试
在 Java 中进行基准测试时，最常用的工具是 JMH（Java Microbenchmarking Harness）。JMH 是由 OpenJDK 团队开发的基准测试框架，专门设计来帮助开发者进行微基准测试，解决了 JVM 启动、JIT 编译、内存管理等因素带来的误差问题。
JMH 的基本示例
添加 JMH 依赖： 如果你使用 Maven，可以在 pom.xml 中添加以下依赖：
如果使用 Gradle，可以添加以下依赖：
dependencies {
testImplementation 'org.openjdk.jmh:jmh-core:1.37'
}
编写基准测试代码：
import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.annotations.State;
import org.openjdk.jmh.annotations.Scope;
import java.util.concurrent.TimeUnit;
// 基准测试状态（共享数据）
@State(Scope.Thread)
public class MyBenchmark {
// 基准测试方法
@Benchmark
@OutputTimeUnit(TimeUnit.MILLISECONDS) // 输出时间单位为毫秒
public void testMethod() {
// 被测代码
StringBuilder sb = new StringBuilder();
for (int i = 0; i < 1000; i++) {
sb.append("hello");
}
}
}
@Benchmark: 标记该方法为基准测试方法。
@OutputTimeUnit: 指定输出的时间单位（如毫秒、微秒等）。
@State(Scope.Thread): 表示测试方法在每个线程中有独立的实例。
运行基准测试：
使用命令行运行 JMH 基准测试，可以在终端执行以下命令：
java -jar target/benchmarks.jar
这会运行 benchmarks.jar 中的所有基准测试方法，并提供详细的性能统计结果。
JMH 输出示例：
Benchmark Mode Cnt Score Error Units
MyBenchmark.testMethod avgt 10 0.500 ± 0.020 ms/op
Mode: 测试模式，常见的模式有：
Throughput: 每秒执行多少次操作。
AverageTime (avgt): 每次操作的平均时间。
SampleTime: 每次操作的采样时间。
Score: 测量的性能得分，单位由 @OutputTimeUnit 指定。
Error: 测量误差。
Units: 单位，如时间（ms）、操作次数（op/s）等。
基准测试的一些常见问题
JIT 编译影响： 在运行基准测试时，JVM 会对代码进行 JIT 编译（即时编译）。JIT 会在运行时进行优化，这可能导致初次运行和后续运行的结果差异。为减少这种影响，可以使用 @Warmup 注解来让测试方法执行一定次数，以便 JIT 编译器优化代码。
JVM 垃圾回收影响： 垃圾回收（GC）可能会干扰基准测试的结果，因此在进行基准测试时，最好通过 -Xmx 和 -Xms 设置固定大小的堆内存，避免频繁的 GC 影响测试。
测量多个指标： 在性能测试中，我们可能不仅关心执行时间，还关心其他资源的使用情况，如内存、CPU 使用率等。可以通过工具如 VisualVM 或 JProfiler 来监控 JVM 的内存使用情况和 CPU 负载，结合基准测试的结果进行综合分析。
总结
基准测试 是性能优化的核心工具，它帮助开发者量化代码、算法或系统的性能，找出瓶颈并进行优化。在 Java 中，JMH 是进行准确、可靠基准测试的首选工具，能够克服常见的 JIT 编译和垃圾回收带来的误差。