Ver código fonte

Update Assignment8.md

merge-requests/10/head
xuesong 4 anos atrás
pai
commit
88f10f7a8f
1 arquivos alterados com 56 adições e 168 exclusões
  1. +56
    -168
      Assignment8.md

+ 56
- 168
Assignment8.md Ver arquivo

@ -29,7 +29,9 @@
## 基础知识
`K8S:` 请参考https://www.yuque.com/serviceup/cloud-native-talks/k8s-roadmap-primary
`K8S理论:` 请参考 https://www.yuque.com/serviceup/cloud-native-talks/k8s-roadmap-primary
`K8S实训:` 更多内容请参考 https://kubernetes.io/docs/tutorials/
## 实验步骤
@ -79,6 +81,14 @@ kubectl version -o json
> 在概览中查看“外网凭证”,并复制凭证内容。
<kbd>
<img src="img/assignment8/ass8-gailan.png">
</kbd>
<kbd>
<img src="img/assignment8/ass8-pinzheng.png">
</kbd>
> 在云主机中创建~/.kube文件夹,然后创建~/.kube/config文件,并将凭证内容粘贴到该文件中。
@ -100,233 +110,111 @@ kubectl get services //打印service信息
### 三)在K8S部署一个应用
### 三)在K8S部署一个应用
#### 1)
#### 1)运行以下命令,部署一个assignment2中的静态网页app
```
sudo yum mount -t nfs4 你的文件存储IP地址:/ /mnt
kubectl create deployment webapp --image=uhub-edu.service.ucloud.cn/cloud_computing/static_site
```
#### 4)运行如下命令查看当前云主机的文件系统
> webapp是deployment的名字,可以随意。也就是说,我们创建了一个webapp部署,部署的内容是包含一个静态网页的docker;部署过程中打包了一个pod,包含了该应用
```
df -hT
```
你应该看到如下图所示内容
#### 2)用上面提到的基本命令查看应用部署信息和pod信息,得到如下图所示信息
<kbd>
<img src="img/assignment7/ass7-df.png">
<img src="img/assignment8/ass8-deployment.png">
</kbd>
## `**************作业2:请将df -hT的运行后界面截图,并插入实验报告***************`
### 三)在水杉码园创建一个仓库,并下载至文件存储
#### 1)登录水杉在线,并进入水杉码园。创建一个仓库mnist(你也可以用其他命名,但后续操作请做相应修改),创建完毕后,找到你的仓库ssh地址,备用
<kbd>
<img src="img/assignment7/ass7-createrepo1.png">
</kbd>
<kbd>
<img src="img/assignment7/ass7-createrepo2.png">
</kbd>
<kbd>
<img src="img/assignment7/ass7-sshaddr.png">
</kbd>
#### 2)在云主机上安装git,并配置一下
#### 3)这时我们需要用kubectl创建一个代理,使得从云主机可以访问集群(从而访问pod)。打开一个新的Terminal或者XShell窗口
```
sudo yum install -y git
git config --global user.name "陆雪松"
git config --global user.email "xuesong.lu.dase@gmail.com"
echo -e "\n\e[92mStarting Proxy. After starting it will not output a response. Please click the first Terminal Tab\n"; kubectl proxy
```
#### 3)生成云主机密钥,使用密钥访问水杉码园
> 你应该看到“Starting to serve on 127.0.0.1:8001”,表示代理设置成功
```
ssh-keygen
```
不用在提示符中输入任何内容,连摁回车,密钥即生成。可以在~/.ssh/下看到你生成的两个密钥,id_rsa是私钥,id_rsa.pub是公钥。如果你使用root账号,密钥在/root/.ssh/目录下。接下来我们要把公钥给码园,以后从这台云主机访问码园,云主机会把私钥提供给码园进行身份验证。
#### 4)打印并复制公钥的内容
#### 4)访问webapp应用(访问pod)
```
cat ~/.ssh/id_rsa.pub
export POD_NAME=$(kubectl get pods -o go-template --template '{{range .items}}{{.metadata.name}}{{"\n}}{{end}}')
echo Name of the Pod: $POD_NAME //如果这一步没有输出,说明$POD_NAME没有获得pod名称,可以把kubectl get pods得到的pod名字直接赋给$POD_NAME。
curl http://localhost:8001/api/v1/namespaces/default/pods/$POD_NAME/proxy/
```
复制屏幕上出现的公钥内容
> 可以看到网页的html输出,说明应用部署成功
## `**************作业3:请将上面最后一个命令输出的信息截图,并插入实验报告***************`
#### 5)在码园中创建公钥,并粘贴上述公钥内容
<kbd>
<img src="img/assignment7/ass7-key1.png">
</kbd>
<kbd>
<img src="img/assignment7/ass7-key2.png">
</kbd>
<kbd>
<img src="img/assignment7/ass7-key3.png">
</kbd>
### 四)创建多个webapp副本,并创建一个service对外提供服务
#### 6)在云主机上运行如下命令,取消码园密码访问
#### 1)查看pod当前副本信息
```
eval 'ssh-agent -s'
exec ssh-agent bash
ssh-add ~/.ssh/id_rsa
ssh -T root@gitea.shuishan.net.cn
kubectl get rs
```
如果你看到类似如下输出,说明密钥访问设置成功
> 可以看到只有一个副本,也就是之前我们手动部署的那个
<kbd>
<img src="img/assignment7/ass7-key4.png">
</kbd>
#### 7)将mnist仓库下载到文件储存
#### 2)查看pod的详细信息
```
cd /mnt
sudo mkdir mnist
sudo chown xuesong:xuesong mnist //更改mnist文件夹拥有者(即你的云主机登录账号)。假如你使用root账号,这步不需要
cd mnist
git init
git pull root@gitea.shuishan.net.cn:luxuesong_dase_ecnu_edu_cn/mnist.git //将pull后面的内容替换成你仓库的ssh地址
kubectl get pods -o wide
```
#### 8)在mnist下面新建三个目录code,data,output,下一个步骤中会使用。创建完毕后,你的mnist文件夹应该有如下结构。
<kbd>
<img src="img/assignment7/ass7-tree.png">
</kbd>
在步骤四)和五)中,我们将代码放在code文件夹中,数据放在data中,模型放在output中
## `**************作业3:请在mnist目录下运行ls -la命令并截图,插入实验报告***************`
### 四)创建UAI Train交互式训练任务,并切换成`编辑模式` (重要!!)
#### 1)在UCloud产品中人工智能分类下面,选择"AI训练服务 UAI Train",点击“交互式训练”选项卡->创建交互式训练任务
#### 2)任务命名随意,在执行信息里面,输入Ucloud账号的公钥和私钥(右上角“API密钥”),代码镜像路径为默认,其余路径均选择UFS,然后如下图所示配置
<kbd>
<img src="img/assignment7/ass7-aitrain.png">
</kbd>
> 简要说明一下交互式训练的工作原理:启动任务的时候,UAI Train会运行一个docker容器,可以是UCloud的默认镜像,也可以是你自己创建的镜像,默认镜像已经安装了python,pytorch,tensorflow等等工具。我们配置的上述UFS路径,UAI Train会将他们映射到容器的/data目录下。也就是说,mnist/data会映射到容器的/data/data目录,mnist/code会映射到容器的/data/code目录。接下来我们便可以在容器中访问这些路径,运行代码。
#### 3)配置完毕,创建任务,等状态变成“执行中”,说明创建成功。
<kbd>
<img src="img/assignment7/ass7-trainjob.png">
</kbd>
#### 4)这一步非常重要!!创建成功后,立即将任务模式从“训练模式”切换成`编辑模式`。
> 点击“切换”
<kbd>
<img src="img/assignment7/ass7-switch1.png">
</kbd>
> 选择一个镜像库,填入要保存的镜像名。如果你的项目中还没有镜像库,则新建一个镜像库。
> 可以看到pod部署的NODE的ip信息,正是集群中的一个node。k8s自动选择了这个node进行部署。
<kbd>
<img src="img/assignment7/ass7-switch2.png">
<img src="img/assignment8/ass8-1rs.png">
</kbd>
> 填入公钥和私钥,点击“确定”
<kbd>
<img src="img/assignment7/ass7-switch3.png">
</kbd>
> 等待几分钟,等运行状态重新变成“执行中”,说明切换成功。这时候任务模式已经是“编辑模式”。
<kbd>
<img src="img/assignment7/ass7-switch4.png">
</kbd>
说明:这么做的原因只有一个,训练模式跑的是GPU,太烧钱 :joy: :joy: !!
写代码时是不需要GPU的,所以切换到编辑模式,跑在CPU机器上;当代码完成,需要大规模训练的时候,才使用训练模式。
## 本实验不需要用到GPU,请确保一直在编辑模式下完成实验!!并且,实验暂停时,请点击“停止”暂停任务,这样便不会收费
<kbd>
<img src="img/assignment7/ass7-switch5.png">
</kbd>
#### 3)现在让我们用一行命令将副本scale到10个,然后再次查看pod详细信息
## `**************作业4:请将编辑模式页面截图,插入实验报告***************`
### 五)使用交互式训练任务训练MNIST识别模型,最后将所有内容同步到水杉码园
```
kubectl scale deployments/webapp --replicas=10
kubectl get pods -o wide
```
#### 1)点击训练任务的“Jupyter”按钮,进入jupyter notebook,我们看到了文件存储上的三个文件夹code,data和output,因为我们将它们映射到了容器中。
> 可以看到此时有10个运行webapp的pod,运行在集群中的4个node节点上(为什么不是5个?答案最后揭晓)
<kbd>
<img src="img/assignment7/ass7-jupynote.png">
</kbd>
## `**************作业4:请将上述有10个pod的打印信息截图,并插入实验报告***************`
#### 2)点击进入code,新建一个tensorflow的notebook,并重命名为mnist,然后保存文件
<kbd>
<img src="img/assignment7/ass7-tf.png">
</kbd>
<kbd>
<img src="img/assignment7/ass7-jupynotern.png">
</kbd>
### 五)最后,让我们将webapp暴露给公网,从而可以从外部访问页面
#### 3)回到云主机,进入/mnt/mnist/data目录,下载mnist数据集。完成后你的mnist目录结构应该如下图所示(output中可能略有不同)
#### 1)创建一个负载均衡service,将webapp暴露给外网
```
wget https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
kubectl expose deployment webapp --type=LoadBalancer --port=80
```
<kbd>
<img src="img/assignment7/ass7-mnisttree.png">
</kbd>
#### 4)此时让我们先把这些文件push一把,同步到码园中。在/mnt/mnist下,运行
#### 2)查看当前的service,你可以找到负载均衡服务的外网ip地址
```
git remote add origin root@gitea.shuishan.net.cn:luxuesong_dase_ecnu_edu_cn/mnist.git //替换成你的码园仓库
git add .
git commit -m "xuesong's first commit"
git push origin master
kubectl get services
```
没有报错则成功push,去水杉码园查看你的仓库验证。
#### 5)下载mnist训练代码[mnist.py](file/assignment7/mnist.py),并在刚刚创建的mnist.ipynb中验证、训练一个模型。
## `**************作业5:上述代码训练的模型,在测试集上精度较低(如下图),请把测试集上的精度提升到95%以上(即运行model.evaluate(x_test, y_test)后,accurray在95%以上),将运行结果截图并插入实验报告***************`
<kbd>
<img src="img/assignment7/ass7-mnisteva.png">
<img src="img/assignment8/ass8-ulb.png">
</kbd>
#### 3)在你自己的电脑上,打开浏览器,访问http://负载均衡服务的外网ip地址
> 提示:你可以尝试增加epoch,也可以尝试更换优化器,其他优化器有Adagrad, RMSprop, Adam等
## `**************作业5:请将kubectl get services输出信息截图、并将浏览器地址栏和网页内容一起截图,并插入实验报告***************`
#### 6)保存训练代码,并push到水杉码园中
#### 4)删除service,删除所有pod,最后在网页上删除集群
```
git add .
git commit -m "commit source code and model"
git push origin master
kubectl delete service webapp
kubectl delete deployment webapp
```
#### 5)还有一个答案没有揭晓:我也不知道,留给大家自己探索 :stuck_out_tongue_winking_eye:

Carregando…
Cancelar
Salvar