MLab

“云上炼丹师”中的云。

MLab构成

MLab是为云上炼丹师服务的云基础设施。由两个部分组成：

• MLab HomePod，迄今为止最先进的容器化PyTorch训练环境。
• MLab RookPod，迄今为止最先进的成本10万人民币以下存储解决方案。

以上两个MLab组件均为独立的产品，可以单独使用docker进行部署，也可以使用k8s进行部署。

MLab HomePod

迄今为止最先进的容器化PyTorch训练环境。

支持如下的软硬件平台：

• X86-64 + Linux
• X86-64 + CUDA + Linux
• X86-64 + Windows10（需要安装WSL2，参考：Windows10上使用Docker运行Linux容器 )
• X86-64 + CUDA + Windows10（在以上的基础上还需要Enable NVIDIA CUDA in WSL 2 ）

MLab HomePod以Docker image形式（遵循OCI规范的image）封装，是我们的深度学习训练环境。目前最新版本为2.0，分为标准版和pro版本。规格如下：

除了这些核心软件，MLab HomePod还有如下鲜明特色：

• 无缝使用DeepVAC规范；
• 无缝构建和测试libdeepvac；
• 包含有kdiff3、kompare、kdenlive、Dolphin、Kate、Gwenview、Konsole等诸多工具。

另外，标准版和pro版内容完全一致，除了pro版本增加了如下内容：

• tensorrt python包，可以用来将PyTorch模型转换为TensorRT模型；
• libboost-dev，用于C++开发者；
• CUDA开发库，用于基于cuda的开发，或者pytorch的源码编译；
• MKL静态库，用于基于mkl的开发，或者libtorch的静态编译；
• pycuda python包，用于运行TensorRT模型;
• gemfield版pytorch，基于master分支构建的pytorch python包，设置export PYTHONPATH=/opt/gemfield环境变量后来使用（从而覆盖掉标准路径下的标准版pytorch）；
• opencv4deepvac，opencv 4.4的静态库，为libdeepvac项目而生。路径为/opt/gemfield/opencv4deepvac；
• libtorch静态库，LibTorch静态库，为libdeepvac项目而生。路径为/opt/gemfield/libtorch；
• deepvac项目，https://github.com/DeepVAC/deepvac 项目在本地的克隆；
• libdeepvac项目，https://github.com/DeepVAC/libdeepvac 项目在本地的克隆。

为了支持上述功能，pro版本的镜像足足增加了10个GB。也正是因为此，homepod从2.0版本开始拆分成了标准版和pro版。

1. 部署

MLab HomePod有三种部署方式：

1. 纯粹的Docker命令行方式，部署且运行后只能在命令行里工作。

#有cuda设备
docker run --gpus all -it --entrypoint=/bin/bash gemfield/homepod:2.0
#没有cuda设备
docker run -it --entrypoint=/bin/bash gemfield/homepod:2.0

2. 图形化的Docker部署方式，部署后可以在vnc客户端、rdp客户端、浏览器中访问图形界面。

#有cuda设备
docker run --gpus all -it -eGEMFIELD_MODE=VNCRDP -p 3389:3389 -p 7030:7030 -p 5900:5900 -p 20022:22 gemfield/homepod:2.0
#没有cuda设备
docker run -it -eGEMFIELD_MODE=VNCRDP -p 3389:3389 -p 7030:7030 -p 5900:5900 -p 20022:22 gemfield/homepod:2.0

参数中的端口号用途：

注意，当使用vscode remote ssh功能时，首先在vscode上新建ssh target，然后在"Enter SSH Connection Command"输入框中输入：

ssh -p 20022 gemfield@<your_host_running_mlab_homepod>

密码输入:deepvac

3. k8s集群部署方式（需要k8s集群运维经验，适合团队的协作管理）。请访问基于k8s部署HomePod以获得更多部署信息。

2. 登录

三种部署方式中的第一种无需赘述，使用docker exec -it登录即可。后两种部署成功后使用图形界面进行登录和使用。支持如下使用方式：

• 1，浏览器(http://your_host:7030);
• 2，vnc客户端，比如realvnc客户端：https://www.realvnc.com/en/connect/download/viewer/ 。realvnc公司承诺viewer永远免费使用。
• 3，rdp客户端，比如KRDC、remmina、Windows远程桌面等。

3. 账户信息

MLab HomePod默认提供了如下账户：

• 用户:gemfield
• 密码:deepvac
• HOME:/home/gemfield

如果要改变该默认行为，可以在docker命令行上（或者k8s yaml中）注入以下环境变量：

• DEEPVAC_USER=<my_name>
• DEEPVAC_PASSWORD=<my_password>
• HOME=<my_home_path>

4. 账户安全

为了安全，用户在初始登录MLab HomePod后，最好使用passwd命令来修改账户密码。并在日常使用中，做到离开电脑5分钟以上手工锁定屏幕（KDE -> Leave -> Lock(Lock screen)）。

MLab RookPod

迄今为止最先进的成本10万人民币以下存储解决方案。 （待补充）