PyTorch使用TensorBoard

安装

直接使用pip安装即可。

pip install tensorboard

 

代码体中要做的事

首先导入tensorboard

from torch.utils.tensorboard import SummaryWriter   

这里的SummaryWriter的作用就是，将数据以特定的格式存储到刚刚提到的那个文件夹中。

首先我们将其实例化

writer = SummaryWriter('./path/to/log')

这里传入的参数就是指向文件夹的路径，之后我们使用这个writer对象“拿出来”的任何数据都保存在这个路径之下。

这个对象包含多个方法，比如针对数值，我们可以调用

writer.add_scalar(tag, scalar_value, global_step=None, walltime=None)

这里的tag指定可视化时这个变量的名字，scalar_value是你要存的值，global_step可以理解为x轴坐标。

举一个简单的例子：

for epoch in range(100)
    mAP = eval(model)
    writer.add_scalar('mAP', mAP, epoch)

这样就会生成一个x轴跨度为100的折线图，y轴坐标代表着每一个epoch的mAP。这个折线图会保存在指定的路径下（但是现在还看不到）

同理，除了数值，我们可能还会想看到模型训练过程中的图像。

 writer.add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')
 writer.add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

可视化

我们已经将关心的数据拿出来了，接下来我们只需要在命令行运行

：

tensorboard --logdir=./path/to/the/folder --port 8123

然后打开浏览器，访问地址http://localhost:8123/即可。这里的8123只是随便一个例子，用其他的未被占用端口也没有任何问题，注意命令行的端口与浏览器访问的地址同步。

如果发现不显示数据，注意检查一下路径是否正确，命令行这里注意是

--logdir=./path/to/the/folder 

而不是

--logdir= './path/to/the/folder '

另一点要注意的是tensorboard并不是实时显示（visdom是完全实时的），而是默认30秒刷新一次。

细节

1.变量归类

命名变量的时候可以使用形如

writer.add_scalar('loss/loss1', loss1, epoch)
writer.add_scalar('loss/loss2', loss2, epoch)
writer.add_scalar('loss/loss3', loss3, epoch)

的格式，这样3个loss就会被显示在同一个section。

2.同时显示多个折线图

假如使用了两种学习率去训练同一个网络，想要比较它们训练过程中的loss曲线，只需要将两个日志文件夹放到同一目录下，并在命令行运行

tensorboard --logdir=./path/to/the/root --port 8123

3.在指定路径下遍历，以后缀自增的形式创建新的文件夹，避免重复

# https://github.com/ultralytics/yolov5/blob/c1bed601e9b9a3f5fa8fb529cfa40df7a3a0b903/utils/general.py#L805
def increment_path(path, exist_ok=False, sep='', mkdir=False):
    # Increment file or directory path, i.e. runs/exp --> runs/exp{sep}2, runs/exp{sep}3, ... etc.
    path = Path(path)  # os-agnostic
    if path.exists() and not exist_ok:
        suffix = path.suffix
        path = path.with_suffix('')
        dirs = glob.glob(f"{path}{sep}*")  # similar paths
        matches = [re.search(rf"%s{sep}(\d+)" % path.stem, d) for d in dirs]
        i = [int(m.groups()[0]) for m in matches if m]  # indices
        n = max(i) + 1 if i else 2  # increment number
        path = Path(f"{path}{sep}{n}{suffix}")  # update path
    dir = path if path.suffix == '' else path.parent  # directory
    if not dir.exists() and mkdir:
        dir.mkdir(parents=True, exist_ok=True)  # make directory
    return path
 

epochs = 10
steps = 100

save_dir = increment_path('runs1/exp')
print(save_dir)

writer = SummaryWriter(save_dir)
iteration = 0
for epoch in range(epochs):
    for step in range(steps):
        # train
        writer.add_scalar('Loss/train', np.random.random(), iteration)
        writer.add_scalar('Accuracy/train', np.random.random(), iteration)
        # val
        writer.add_scalar('Loss/val', np.random.random(), iteration)
        writer.add_scalar('Accuracy/val', np.random.random(), iteration)
        iteration += 1
        
writer.close()

(45条消息) PyTorch可视化-在PyTorch训练时使用TensorBoard记录Metrics_tensorboard metrics_ayiya_Oese的博客-CSDN博客

 

每运行一次，会创建一个文件夹，左侧蓝色框

代码中add_scalar的第一个参数，也就是tag，如'Accuracy/train'和'Accuracy/val'，相同的tag会把两个图表放在同一个sectionAccuracy下

不同的文件夹中的相同tag会画在同个图表中，如右侧4个图表的橙色和蓝色曲线

如果是在同一个文件夹中，具有相同tag的则会画到同一条曲线上，因此在训练时，不同参数的训练要放到不同的文件夹中，否则两次训练会首尾相连，但是如果是中断继续训练，则要放到同一个文件夹中，并且横坐标要从上次中断位置继续。

hook-tensorboard

(45条消息) pytorch中使用TensorBoard进行可视化Loss及特征图_tensorboard loss__-CHEN-_的博客-CSDN博客

分布式下

【Pytorch详细教程十】使用Tensorboard在 Pytorch 中进行可视化（Tensorboard详细使用教程） - 知乎 (zhihu.com) 

pytorch使用tensorboard实现可视化总结 - 知乎 (zhihu.com)