并行文件系统BeeGFS的基准测试-并行文件配置错误

 

1 内置基准测试工具

​ BeeGFS 包括一个内置寸尺目标基准测试(StorageBench)和一个网络基准测试(NetBench)。

2 StorageBench

​ 存储目标基准测试旨在确定BeeGFS在存储目标上的最大理论性能或检测有缺陷或配置错误的存储目标。

​ 该基准测试独立于网络性能的底层文件系统和设备的流吞吐量。为了模拟客户端IO，该基准测试在服务器本地生成生成读/写工作包，无需任何客户端通信。

​ 使用该beegfs-ctl 工具启动和监控存储基准测试。

​ 以下示例在所有BeeGFS存储服务器的所有目标上启动写入基准测试，IO块大小为512KB，每个目标使用10个线程（即模拟客户端流），每个线程将200GB数据写入自己的文件。

要查询所有目标的基准状态效果，请执行以下命令

使用watch命令在给定的时间间隔内以秒为单位重复查询

基准测试完成后，生成的文件不会自动删除。可以使用以下命令删除它们

有关存储基准测试及选项的更多详细信息，请参见该beegfs-ctl 工具的帮助，如下所示

3 NetBench

​ netbench模式用于网络流吞吐量基准测试。在这种模式下，写入和读取请求通过网络从客户端传输到服务器，就像BeeGFS在正常操作期间（即禁用netbench模式）所做的那样，不同之处在于，启用 netbench 模式后，服务器将丢弃接收到的写入请求，而不是实际将接收到的数据提交到底层文件系统（对于读取请求来说反之亦然，在这种情况下，只会将内存缓冲区发送到客户端而不是实际上从服务器上的底层文件系统读取。）因此，这种模式有助于检测慢速网络连接，并可ss用于测试客户端和存储服务器之间的最大网络吞吐量，因为这种模式下的吞吐量独立于底层磁盘。

​ 要测试流吞吐量，您可以使用任何将数据写入 BeeGFS 挂载点的工具，例如 dd或 IOR。（请注意，由于写入操作在服务器上被丢弃，写入后的文件将继续保持长度为 0，因此某些基准测试工具可能会打印出意外文件大小的警告。）

​ 所有其他操作，如文件创建和取消链接，将在启用 netbench 模式下正常工作，只有写入和读取操作会受到影响。

​ Netbench 模式是通过/proc/fs/beegfs. 以下命令将为执行它的特定客户端启用 netbench 模式（其他客户端不受影响）。不需要重新安装客户端，并将禁用 netbench 模式。

​ 显然，在基准测试完成后禁用 netbench 模式以重新启用对文件系统的正常读取和写入非常重要。这可以通过以下命令在运行时完成。

​ 请注意，此命令只会影响执行它的客户端。如果在多个客户端上启用了 netbench 模式，则还必须在所有这些客户端上运行此命令。

4 外部基准测试工具

4.1 IOR

​ IOR 是一种基准工具，用于衡量单个或多个客户端的性能，每个客户端有一个或多个进程。IOR 基于 MPI 进行分布式执行。它可用于测量流吞吐量或小随机 IO 性能 (IOPS)。

​ 请在部署BeeGFS前安装IOR软件以启用BeeGFS支持。进程数 ${NUM_PROCS} 的值取决于要测试的客户端数和每个客户端的进程数。块大小 ${BLOCK_SIZE} 可以用 计算。((3 * RAM_SIZE_PER_STORAGE_SERVER * NUM_STORAGE_SERVERS) / ${NUM_PROCS})

多流吞吐量基准

#mpirun -hostfile /tmp/nodefile --map-by node -np \ ${NUM_PROCS} \ /usr/bin/IOR -wr -i5 -t2m -b ${BLOCK_SIZE} -g -F -e -o /mnt/beegfs/test.ior

共享文件吞吐量基准

$mpirun -hostfile /tmp/nodefile --map-by node -np ${NUM_PROCS} \ /usr/bin/IOR -wr -i5 -t1200k -b ${BLOCK_SIZE} -g -e -o /mnt/beegfs/test.ior

IOPS基准

$ mpirun -hostfile /tmp/nodefile --map-by node -np ${NUM_PROCS} \ /usr/bin/IOR -w -i5 -t4k -b ${BLOCK_SIZE} -F -z -g -o /mnt/beegfs/test.ior