DaseTalentDocs

5.5 KiB

Raw Blame History

1资源准备

根据模型规模，合理安排每个容器使用的资源额度，计算所需要的总资源数目

如100个学生，每个容器需要1C，4G

那么总资源需要100C，400G

在K8S系统中添加工作节点，满足资源总需求*115%，其中15%为余量，可以多一点。

考试的节点手动添加标签cal_type:cpu/gpu ntype:exam

对于exam的镜像会全部调度到这些节点中，普通教学的镜像只会被调度在ntype:study的节点上，以此实现考试和教学的分离，保障考试稳定性

对于gpu的镜像只会被调度到cal_type:gpu的节点上，cpu的镜像同理。

2环境准备

根据考试实际需要，build一个镜像

打包过程：

文件在jupyter-image-mladder文件夹中

其中base是基镜像，先本地build该镜像

cd base

sudo docker build -t mld:v1 .

其它几个镜像中的FROM字段内容要修改为刚刚build的mld:v1

安装包只需要仿照下面代码，用conda或者pip3安装即可，推荐使用一些镜像源，速度较快

cudnn等一些包不能用pip安装，可以用conda，自行google搜索

FROM mld:v1     #这个要对应自己build的镜像

ARG NB_USER="jupyter"
ARG NB_UID="1000"
ARG NB_GID="100"
ARG NB_PORT=8888

USER root

###### 以下是装包：
RUN conda install pytorch torchvision torchaudio cpuonly -c pytorch \
    && conda install tensorflow

RUN pip3 install numpy seaborn sklearn h5py matplotlib pandas future imageio -i https://pypi.mirrors.ustc.edu.cn/simple/ 

RUN pip3 install lightgbm xgboost imblearn mindspore -i https://pypi.mirrors.ustc.edu.cn/simple/ 

RUN pip3 install keras -i https://pypi.mirrors.ustc.edu.cn/simple/ 
######

ENV HOME="/home/${NB_USER}"
USER ${NB_UID}
ENTRYPOINT [ "/enterpoint.sh" ]

不同环境，只需要修改######之间的内容即可，别的代码一般不需要修改

打包好镜像后，需要上传到dockerhub

dasetalent账户密码查阅 dassetalent_host.md文件

docker push 到dockerhub后，进入考试专用的节点（可以直接ssh，也可以在阿里云k8s管理模块workbench远程连接功能），手动ctr images pull dasetalent/xxxxxx，其中xxxxxx为上传的镜像，要带版本号

之后在服务器nfs上添加节点ip

在服务器/etc/exports文件下添加节点ip

随后重启nfs服务，重启命令：

service nfs-kernel-server restart

重启完后可使用service nfs-kernel-server status命令查看nfs是否正常运行

下面步骤为暂时性：

进入天梯服务器

目录/home/lwttest

修改/home/lwttest/config.json文件

{"version": "v1.2.1", "images": {
  "old": {"image": "bnc1010/old_notebook:v1", "use_gpu": false, "workdir": "/home/public/", "node_select":{"ntype":"study"}}, 
  "torch-gpu": {"image": "bnc1010/mladder_notebook_torchgpu:v0.3", "use_gpu": true, "workdir": "/home/jupyter/", "node_select":{"ntype":"study"}}, 
  "tensorflow-gpu": {"image": "bnc1010/mladder_notebook_tensorflowgpu:v0.2", "use_gpu": true, "workdir": "/home/jupyter/", "node_select":{"ntype":"study"}},
  "tensorflow-pytorch-cpu(exam)": {"image": "bnc1010/mladder_notebook_torch_tf_sk:v1.6", "use_gpu": false, "workdir": "/home/jupyter/", "node_select":{"ntype":"exam"}}
  }, 
  "node_ips": ["47.100.69.138", "139.224.216.129"], 
  "gpu_maxn": 0, 
  "gpu_notebook": {}}

这里以tensorflow-pytorch-cpu(exam)为例，这是一个考试专用镜像，它有四个参数：

{
	"image": "bnc1010/mladder_notebook_torch_tf_sk:v1.6", 
	"use_gpu": false, 
	"workdir": "/home/jupyter/", 
	"node_select":{"ntype":"exam"}
}

image： dockerhub中能直接pull的镜像名

use_gpu：是否是需要GPU的

workdir： notebook的工作地址

node_select：节点标签选择

这里node_select中有一个ntype:exam，表明该镜像起的容器只会在考试专用节点上

其它几个镜像起的容器只会在带有ntype:study标签的节点上

在该配置文件添加好新镜像后，重启脚本/home/lwttest/workServer.py

目前是使用screen挂载 screen -x notebook即可进入， ctrl c 终端，然后python3 /home/lwttest/workServer.py即可重启

3比赛准备

准备好考试需要的比赛

详见天梯助教手册

设置考试的环境为上述准备好的考试专用环境

暂时不要publish，测试作业可以使用私密链接，账号可以让测试人员直接从水杉账号，从水杉跳转过来

4考试过程

4.1 快开始时

清空k8s考试节点中已打开的容器

配置资源容器资源额度：

        resources:
          requests:
            memory: 2Gi
            cpu: 800m
          limits:
            memory: 4Gi
            cpu: 2000m

4.2 开始

将比赛正式publish

4.3 考试中

检测k8s集群，掌握资源实时状态，如果不足，则需要临时加入新节点

如果有其它节点可用时，一个简单有效的补救：手动修改没有成功开启的deployment的yml，修改其ntype调度到非考试节点上去。

考试内容相关：

如果有文件错误、说明有误等需要修改、增加文件的情况时，手动上传至对应比赛的input文件中。

4.4 考试结束

应该向考生说明保存notebook，避免关闭容器后，代码没有保存而丢失。

在天梯中，点击code按钮下载考生代码、leaderboader排名CSV文件。

保存完毕后，删除考试节点所有的deployment。

设置比赛的环境为空，让考生无法从比赛页面再次进入notebook。

数据盘创建快照。

删除临时work节点。

5.5 KiB Raw Blame History