Pycharm代码docker容器运行调试 | 机器学习系列

Pycharm代码docker容器运行调试 | 机器学习系列介绍常规的本地化运行机器学习代码,安装Anaconda+cuda显卡驱动支持,许多文章都有介绍,不在此多做赘述了。本文主要是为了解决在工作环境中,本机电脑没有显卡,需要将程序运行在带显卡的远程服务器上。本文会介绍如何部署使用显卡的docker容器、如何使用pycharm连接docker容器运行机器学习代码。版本Pycharm:2020.1.3docker:19.03.12python:3.6.13demo算法:BackgroundMattingV2部署下面我会按照.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

目录

介绍

版本

部署

安装驱动

安装docker

创建基础容器

安装Anaconda

关于Anaconda的使用

Docker容器SSH服务启动

Pycharm连接Docker容器

验证 

运行验证

代码更新如何上传或者下载远端容器产物

 验证容器内的产物是否生成

总结


介绍

常规的本地化运行机器学习代码,安装Anaconda+cuda显卡驱动支持,许多文章都有介绍,不在此多做赘述了。本文主要是为了解决在工作环境中,本机电脑没有显卡,需要将程序运行在带显卡的远程服务器上。

本文会介绍如何部署使用显卡的docker容器、如何使用pycharm连接docker容器运行机器学习代码。

版本

Pycharm: 2020.1.3

docker: 19.03.12

python: 3.6.13

demo算法: BackgroundMattingV2

部署

下面我会按照详细的流程,对主要过程进行说明,对于一些基础组件的安装简述。

安装驱动

我们来到这台带显卡(机器学习你懂的,NVIDIA显卡是必须的)的服务器,检查一下显卡是否安装。

[root@data2 home]# nvidia-smi
Wed Sep 29 22:56:47 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.100      Driver Version: 440.100      CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:13:00.0 Off |                  N/A |
| 23%   24C    P8     8W / 250W |   1543MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 108...  Off  | 00000000:1B:00.0 Off |                  N/A |
| 28%   46C    P2    70W / 250W |   1865MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      8895      C   python                                      1529MiB |
|    1      8881      C   python                                      1849MiB |
+-----------------------------------------------------------------------------+

如果显示命令不存在,需要安装对应版本的显卡驱动。

可以参考链接:https://blog.csdn.net/maqian5/article/details/109777701

装好了之后先别管她,后面会用到。

安装docker

安装好docker,这里不多赘述了,上链接:https://blog.csdn.net/u014069688/article/details/100532774

安装好之后可以使用docker ps检查一下。

创建基础容器

因为基础容器我们需要使用anaconda实现虚拟环境,就不用python的基础镜像了,直接使用Ubuntu18的系统镜像作为基础镜像。

[root@data2 home]# docker pull ubuntu:18.04
18.04: Pulling from library/ubuntu
e4ca327ec0e7: Pull complete
Digest: sha256:9bc830af2bef73276515a29aa896eedfa7bdf4bdbc5c1063b4c457a4bbb8cd79
Status: Downloaded newer image for ubuntu:18.04
docker.io/library/ubuntu:18.04

启动创建容器。

命令:

docker run --name=aliang -itd --gpus all --restart=always --shm-size 16G --net=host ubuntu:18.04 bash

 执行结果:

[root@data2 home]# docker run --name=aliang -itd --gpus all --restart=always --shm-size 16G --net=host ubuntu:18.04 bash
6c0b30fd0c258adeb76bc2baf817aaaf2064f1f0d96b0054d7e6a187ae0e5725
[root@data2 home]# docker exec -it aliang bash
root@data2:/# ls
bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var

 命令说明:

1、–name=aliang: 给容器命名

2、–gpus all: 所有gpu都可使用,不建议这么设置,有点浪费,下面会有另一个例子

3、–shm-size 16G:显存参数,给不给问题不大

4、–net=host:容器使用,懒人做法,容器内和宿主机共享网络,下面另一个例子会有更好的方式。

更好的方式:

1、查看显卡编号

[root@data2 home]# nvidia-smi -L

Pycharm代码docker容器运行调试 | 机器学习系列

选择一块卡,复制UUID后面的序列号

2、使用命令

docker run --name=aliang -itd --restart=always --shm-size 16G --gpus device=GPU-xxxxx -p 2299:22 ubuntu:18.04 bash

Pycharm代码docker容器运行调试 | 机器学习系列

在device后面接上上面查出来的序列号。把容器内22端口映射到宿主机的2299端口(当然这个出来的端口看你心情了)。

安装Anaconda

为了以后可以频繁使用这个容器做训练,使用conda的虚拟环境肯定是不二选择。

这里要做的是在容器内安装,所以需要对容器内系统做一些命令升级。

apt-get update
apt-get upgrade

 至于安装Anaconda,就不过多赘述了,上链接: https://blog.csdn.net/tkzky001/article/details/118705205

关于Anaconda的使用

简单的说一下Anaconda的原理,主要是它可以构建多个虚拟的运行环境,我们可以通过命令行前缀判断目前所使用的虚拟环境。

(base) root@data2:/#

base是基础环境,下面我们安装一下机器学习模型所需要的环境。使用下面的命令,其中机器学习架构主要是用pytorch。

创建python3.6的基础环境

conda create -n bg_matting python=3.6

 激活环境

(base) root@data2:/# conda activate bg_matting
(bg_matting) root@data2:/#

我们可以通过前缀判断是不是切换到了新的虚拟环境。

验证环境

(bg_matting) root@data2:/# python -V
Python 3.6.13 :: Anaconda, Inc.

的确是我们需要的3.6版本。

安装pytorch

打开pytorch官网:https://pytorch.org/ ,往下翻可以看到安装命令。

Pycharm代码docker容器运行调试 | 机器学习系列

选择linux环境CUDA最新版本。

Docker容器SSH服务启动

完成了以上的步骤,docker的环境基本ok了,下面来配置该容器的ssh服务,为了远程调试用。

首先装个vim,不然太麻烦了。

apt-get install vim

安装openssh

apt-get install openssh-server

 使用passwd,添加用户名密码

passwd

修改vim配置文件

vim /etc/ssh/sshd_config

修改两个地方

1、端口

需要说明一下,如果在构建docker容器的时候使用了 –net=host,则必须要改端口,因为原本的22端口会和宿主机的ssh端口冲突。可以调整为别的,例如下面。

Pycharm代码docker容器运行调试 | 机器学习系列

如果使用的是上面另一种方法,则无需修改,因为容器是将内部的22端口映射到宿主机的2299,没有共享。

2、登入权限

#PermitRootLogin prohibit-password

PermitRootLogin yes

 以上的配置都做完了下面启动ssh

/etc/init.d/ssh restart

 

Pycharm连接Docker容器

现在基本环境都安装好了,我们来尝试让IDE和docker容器环境连接起来。

1、点开setting,打开Project Interpreter。

Pycharm代码docker容器运行调试 | 机器学习系列

 2、点击新增,选择SSH Interpreter。

Pycharm代码docker容器运行调试 | 机器学习系列

 3、填写宿主机IP,映射的端口,ssh用户名。

Pycharm代码docker容器运行调试 | 机器学习系列

 4、填写passwd设置的密码,下一步。

Pycharm代码docker容器运行调试 | 机器学习系列

 5、选择远程docker容器python执行文件,在安装Anaconda包内, 例如我的位置是:/root/anaconda3/envs/bg_matting/bin/python

Pycharm代码docker容器运行调试 | 机器学习系列

6、选择本地项目目录与远程项目目录位置映射

Pycharm代码docker容器运行调试 | 机器学习系列

 7、可以在右下方看到你的远程执行配置。

Pycharm代码docker容器运行调试 | 机器学习系列

8、pycharm会将你的项目全量同步到远程的docker容器内。 

验证 

 现在我们所有的配置都做好了,来运行一下我们的项目看看是否能够远程运行成功。

运行验证

Pycharm代码docker容器运行调试 | 机器学习系列

 没有问题。

代码更新如何上传或者下载远端容器产物

可以点击工具把选中的文件或者文件夹推送到docker容器内,或者反过来从远端容器下载到本地。

Pycharm代码docker容器运行调试 | 机器学习系列

 

 验证容器内的产物是否生成

输入命令进入容器,查看程序运行产物。

[root@data2 home]# docker exec -it a8d bash
(base) root@data2:/# cd /home/BackgroundMattingV2-master/
(base) root@data2:/home/BackgroundMattingV2-master# ls
LICENSE      data          export_onnx.py         inference_hy.spec        inference_video.py   train_base.py
README.md    data_path.py  export_torchscript.py  inference_images.py      inference_webcam.py  train_refine.py
__pycache__  dataset       images                 inference_speed_test.py  model
content      doc           inference_hy.py        inference_utils.py       requirements.txt
(base) root@data2:/home/BackgroundMattingV2-master# cd content/output/
(base) root@data2:/home/BackgroundMattingV2-master/content/output# ls
fuse
(base) root@data2:/home/BackgroundMattingV2-master/content/output#

没有问题!

总结

总的来说这种方式还是很不错的,因为在工作中我们并没有那么多显卡,又或者你需要调试已经部署的工程项目,都是很好的选择。还有一个很重要的功能,就是这个你调试好的容器可以直接打包docker镜像,其他人只要拉取该镜像就可以运行你的程序代码。直接解决容器化工程的问题。

如果这篇文章对你有作用的话,请来个点赞吧,比心。

Pycharm代码docker容器运行调试 | 机器学习系列

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/175229.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号