Assignment6.md

@@ -0,0 +1,171 @@
+# Assignment 6 指南
+
+## `******注意，实验结束请立即删除负载均衡器和所有云主机，节省费用******` 
+
+## `******注意2，实验未结束且短期内不会继续实验，也请删除负载均衡器和所有云主机。下次实验时重新创建******` 
+
+## `******提示：勤用保存镜像******`
+
+##  实验内容
+
+- 创建负载均衡器: `实验步骤 一)` 
+- 创建Flask App服务实例，并连接负载均衡器：`实验步骤 二)`
+- 进行服务器压力测试: `实验步骤  三)`
+
+## 实验要求
+
+- 完成所有步骤，并在实验报告（[模板下载](file/assignment6/学号-实验六.docx))中完成穿插在本指南中的作业1～作业4）。实验报告上传至https://send2me.cn/pSb59vYk/RkOYSxHhtc4fig
+- 实验报告上传deadline： `11月3日23:59`
+
+## 使用UCloud产品 
+
+云主机UHost、负载均衡ULB、私有网络VPC、基础网络UNet
+
+## 需要权限
+
+云主机UHost、负载均衡ULB、基础网络UNet
+
+
+## 基础知识
+
+
+`负载均衡:` load balancing，是指将用户请求按照一定的规则，分流到提供相同服务的多个服务实例上，从而减轻单点服务器的压力，是保证服务高并发高可用的技术手段之一。用户、负载均衡器和服务器实例的关系可以简化为下图。这种架构的另一个好处是可以把服务器隐藏在局域网防火墙背后，因为外网直接访问的是负载均衡器。
+
+<kbd>
+  <img src="img/assignment6/ass6-lb.jpeg">
+</kbd>
+
+负载均衡的算法有很多，常见的如轮询，ip地址哈希，最小连接数等，应对不同的需求，感兴趣的同学可以去了解一下。
+
+
+`压力测试:` 测试一个系统的最大抗压能力，在强负载、高并发的情况下，测试系统所能承受的最大压力，预估系统的瓶颈。例如天猫双11之前，阿里内部会对整个淘宝平台进行全链路压测，预估应对峰值交易的能力。压力测试的工具有很多，今天我们练习使用非常简单的ApacheBench（ab）对http服务器进行压测。
+
+好，废话少说，咱们书归正传！
+
+## 实验步骤
+
+### 一）使用ULB创建一个外网负载均衡器。
+
+#### 1）在产品->网络中选择负载均衡ULB，然后点击创建负载均衡。
+
+#### 2）根据下图配置，选择按时付费。因为我们一会需要从外网访问Flask App，所以选择外网负载均衡。后面涉及默认开放端口5000，请配置开放此端口的防火墙。
+
+<kbd>
+  <img src="img/assignment6/ass6-createlb.png">
+</kbd>
+
+#### 3）创建完毕后，记住ULB的IP地址，点击详情->VServer管理->添加VServer。这里VServer就可以看成是一个负载均衡服务器，负责分流。取任意VServer名称，其他保持默认设置，点击确定。
+
+<kbd>
+  <img src="img/assignment6/ip.png">
+</kbd>
+
+<kbd>
+  <img src="img/assignment6/ass6-vs.png">
+</kbd>
+
+#### 4）点击“服务节点”标签页，当前没有任何实际的节点提供服务。我们接下来创建一些服务节点。
+
+
+### 二）使用云主机创建Flask App服务实例，并连接负载均衡器。
+
+#### 1）创建一个1核1G的云主机，绑定弹性IP，选择web型防火墙，按时付费（已经很熟练了吧 :dog: :dog:）
+
+#### 2）使用docker file创建一个Flask App的image（比如实验2中的hello world），并且暴露docker容器的5000端口（因为Flask开发模式默认端口就是5000）。创建完毕之后运行docker，将5000端口映射到云主机的80端口。
+
+```
+docker run -d --rm -p 80:5000 --name myflask luxuesong/myflaskapp
+```
+
+请同学们复习一下docker的安装和使用，以及通过dockerfile创建镜像。如果你意外保存了实验二的镜像，可以从镜像创建云主机，然后直接启动并docker run。
+> 如果你在创建镜像的过程中遇到下图报错：
+
+<kbd>
+  <img src="img/assignment6/error.png">
+</kbd>
+
+> 可尝试在命令`docker build`之前运行`DOCKER_BUILDKIT=0`，如下所示
+```
+DOCKER_BUILDKIT=0 docker build -t sll/myflaskapp .
+```
+
+#### 3）打开浏览器，输入 `http://你的云主机外网ip`，测试app是否正常运行。正常则进入下一步。
+
+<kbd>
+  <img src="img/assignment6/ass6-llq.jpeg">
+</kbd>
+
+#### 4）将云主机连到负载均衡器。回到前面添加服务节点的界面，输入端口80，则所有可添加的节点都会出现（以内网ip形式）。将你的云主机对应的内网ip，转移到待添加节点，点击确定。这时候显示健康检查“失败”，不用管它，我们在浏览器中输入 `http://你的负载均衡器ip`，奇迹发生了！我们也能访问flask app！！并且这时候健康检查也变成“正常”。
+
+<kbd>
+  <img src="img/assignment6/select_node.png">
+</kbd>
+
+<kbd>
+  <img src="img/assignment6/select2.png">
+</kbd>
+
+## `**************作业1：请将浏览器中通过负载均衡ip访问flask app的界面，以及负载均衡器中服务节点界面截图，并插入实验报告***************`
+
+#### 5）此时负载均衡器只连接了一个服务实例，等同于单机访问。`为步骤三做准备，请在这一步制作当前云主机的镜像`。
+
+
+### 三）使用ab进行http服务器压力测试
+
+#### 1）使用步骤二）中制作的镜像，创建三个最低配置的云主机（`和之前一样，只是在云主机创建界面用“自制镜像”，并且不需要弹性ip，取消勾选“购买并绑定”`），可以选择三台主机一次性创建
+
+<kbd>
+  <img src="img/assignment6/ass6-createuh.png">
+</kbd>
+
+<kbd>
+  <img src="img/assignment6/nei.png">
+</kbd>
+
+#### 2）创建完毕后，使用有外网ip的那台云主机，逐个ssh到三台内网机器上（通过内网ip），然后每台机器直接启动docker服务，并运行flask app容器（因为已经全都安装并且build好了 :smiley_cat: :smiley_cat: :smiley_cat:）
+
+<kbd>
+  <img src="img/assignment6/ass6-intra.jpeg">
+</kbd>
+
+<kbd>
+  <img src="img/assignment6/ass6-intrassh.jpeg">
+</kbd>
+
+#### 3）现在让我们把这三个云主机连接到负载均衡器，并且从负载均衡器中删除刚才的具有外网ip的节点（接下来我们要用外网ip节点做压测）。首先我们禁用掉其中的两个节点，只保留一个节点在启用状态。如下图所示。
+
+<kbd>
+  <img src="img/assignment6/ass6-3s.jpeg">
+</kbd>
+
+## `**************作业2：请将此时连接到负载均衡的服务节点（三个）截图，并插入实验报告***************`
+
+#### 4）登录具有外网ip的云主机，安装ApacheBench
+```
+sudo yum -y install httpd
+```
+
+#### 5）运行压测命令。`-c`表示并发数，即同时发生的请求数，`-n`表示请求总数，`http://106.75.216.169/`替换成你的负载均衡器ip。所以这里对我们的flask app并发1000个请求，总共发出10000个请求。结果如下图所示。
+```
+ab -c 1000 -n 10000 http://106.75.216.169/
+```
+
+<kbd>
+  <img src="img/assignment6/ass6-ab.jpeg">
+</kbd>
+
+> 这里我们关注几个重要结果
+
+> 1) Time taken for tests：压测总时间
+
+> 2) Requests per second: 平均每秒处理请求数
+
+> 3) Time per request: 平均每个请求处理时间
+
+#### 6）接下来，请逐渐启用第2和第3个服务器节点，然后再运行上面的压测命令。
+
+## `**************作业3：请将启用一个节点、两个节点、三个节点时的压测结果分别截图，并插入实验报告***************`
+
+注意，由于有网络因素干扰，每个实验你可以多进行几次压测，得到比较正常的结果再截图。
+
+## `**************作业4：假设现在压测结果显示单台机器的Requests per second为30，一天中的请求峰值时间是2个小时，峰值期间总共需要处理5千万个请求，请问需要至少准备多少台机器才可能平稳度过峰值请求？***************`

Assignment7.md

@@ -0,0 +1,259 @@
+# Assignment 7 指南
+
+## `******注意，实验结束请立即删除云主机、UFS文件存储，节省费用******` 
+
+## `******注意2，实验未结束且短期内不会继续实验，也请删除所有上述资源。下次实验时重新创建******` 
+
+
+##  实验内容
+
+- 创建文件存储: `实验步骤 一)` 
+- 创建云主机，并挂载文件存储：`实验步骤 二)`
+- 在水杉码园创建一个仓库，并下载至文件存储：`实验步骤 三)`
+- 拉取python镜像，在容器内测试环境: `实验步骤  四)`
+- 使用python容器训练识别MNIST手写数字的神经网络，并将所有内容同步到水杉码园：`实验步骤 五)`
+
+## 实验要求
+
+- 完成所有步骤，并在实验报告（[模板下载](file/assignment7/学号-实验七.docx))中完成穿插在本指南中的作业1～作业5）。实验报告上传至https://send2me.cn/WHPPHFRE/S4-CtxqCKQ6qig
+- 实验报告上传deadline： `11月10日23:59`
+
+## 使用UCloud产品 
+
+云主机UHost、文件存储UFS、镜像库UHub、私有网络VPC、基础网络UNet
+
+## 需要权限
+
+云主机UHost、文件存储UFS、镜像库UHub、基础网络UNet
+
+
+## 基础知识
+
+
+`MNIST:` MNIST是一个手写数字数据库，包含60000个训练样本和10000个测试样本，是一个能够快速上手的、用于尝试机器学习和模式识别技术的数据集。
+
+
+## 实验步骤
+
+### 一）创建一个文件存储
+
+#### 1）在产品->存储中选择“文件存储UFS”，然后点击创建文件系统。
+
+#### 2）如下图，存储类型选择SSD性能型，100GB(新版本最低只能设置为500G)，按时付费。
+
+<kbd>
+  <img src="img/assignment7/ass7-createufs.png">
+</kbd>
+
+#### 3）创建完毕后，如下图所示在弹窗中点击确定设置挂载点，接着选择一个VPC网络，使得相应的子网是DefaultNetwork，点击确定。这样我们等一下在DefaultNetwork下面创建一个云主机，就能把这个文件存储挂载到云主机上。
+
+<kbd>
+  <img src="img/assignment7/setGuazai.png">
+</kbd>
+
+<kbd>
+  <img src="img/assignment7/vpc.png">
+</kbd>
+
+#### 4）点击“管理挂载”，查看挂载信息，记住文件存储所在的ip地址，第二）步中我们把这个文件存储挂载到云主机上。
+
+<kbd>
+  <img src="img/assignment7/guazai.png">
+</kbd>
+<kbd>
+  <img src="img/assignment7/guazaiIP.png">
+</kbd>
+
+## `**************作业1：请将含有文件存储ip地址信息的页面截图，并插入实验报告***************`
+
+
+### 二）将文件存储挂载到云主机上，使得它在逻辑上成为云主机的一个分区
+
+#### 1）创建一个1核2G（1G可能不够！！！）的云主机(后续需要用到docker，可从带docker的镜像创建主机），绑定弹性IP，按时付费（这个云主机必须在文件存储所挂载的子网中，否则无法和文件存储通信）
+
+#### 2）登录云主机，安装NFS
+
+```
+sudo yum install -y nfs-utils
+```
+
+NFS（Network File System）是一个能够使得本地主机访问远程主机文件系统的应用程序。因为步骤一）创建的文件存储对于当前的云主机来讲是一个远程存储（网络存储），使用NFS协议才能将其挂载到当前云主机上。
+
+#### 3）在云主机上挂载文件存储，挂载点为/mnt
+
+```
+sudo mount -t nfs4 你的文件存储IP地址:/ /mnt
+```
+
+#### 4）运行如下命令查看当前云主机的文件系统
+
+```
+df -hT
+```
+
+你应该看到如下图所示内容
+
+<kbd>
+  <img src="img/assignment7/ass7-df.png">
+</kbd>
+
+
+## `**************作业2：请将df -hT的运行后界面截图，并插入实验报告***************`
+
+
+
+### 三）在水杉码园创建一个仓库，并下载至文件存储
+
+#### 1）登录[水杉在线](https://www.shuishan.net.cn/)，并从水杉在线门户进入“水杉码园”。创建一个仓库mnist（你也可以用其他命名，但后续操作请做相应修改），创建完毕后，找到你的仓库ssh地址，备用
+
+<kbd>
+  <img src="img/assignment7/ass7-createrepo1.png">
+</kbd>
+<kbd>
+  <img src="img/assignment7/ass7-createrepo2.png">
+</kbd>
+
+#### 2）在云主机上安装git，并配置一下，对应于自己水杉码园的用户名和邮箱
+
+```
+sudo yum install -y git
+git config --global user.name "51255903039"
+git config --global user.email "51255903039@stu.ecnu.edu.cn"
+```
+
+#### 3）生成云主机密钥，使用密钥访问水杉码园
+
+```
+ssh-keygen -t rsa -C '51255903039@stu.ecnu.edu.cn'
+```
+不用在提示符中输入任何内容，连摁回车，密钥即生成。可以在~/.ssh/下看到你生成的两个密钥，id_rsa是私钥，id_rsa.pub是公钥。如果你使用root账号，密钥在/root/.ssh/目录下。接下来我们要把公钥给码园，以后从这台云主机访问码园，云主机会把私钥提供给码园进行身份验证。
+
+#### 4）打印并复制公钥的全部内容
+
+```
+cat ~/.ssh/id_rsa.pub
+```
+
+复制屏幕上出现的公钥内容
+
+#### 5）在码园中创建公钥，并粘贴上述公钥内容
+
+<kbd>
+  <img src="img/assignment7/ass7-key1.png">
+</kbd>
+<kbd>
+  <img src="img/assignment7/ass7-key2.png">
+</kbd>
+<kbd>
+  <img src="img/assignment7/ass7-key3.png">
+</kbd>
+
+
+#### 6）在云主机上运行如下命令，取消码园密码访问
+
+```
+eval 'ssh-agent -s'
+exec ssh-agent bash
+ssh-add ~/.ssh/id_rsa
+ssh -T git@gitea.shuishan.net.cn
+```
+
+如果你看到类似如下输出，说明密钥访问设置成功
+
+<kbd>
+  <img src="img/assignment7/ass7-key4.png">
+</kbd>
+
+#### 7）将mnist仓库下载到文件储存
+
+```
+cd /mnt
+sudo mkdir mnist
+sudo chown xuesong:xuesong mnist   //更改mnist文件夹拥有者（即你的云主机登录账号）。假如你使用root账号，这步不需要
+cd mnist
+git init
+git pull git@gitea.shuishan.net.cn:luxuesong_dase_ecnu_edu_cn/mnist.git   //将pull后面的内容替换成你仓库的ssh地址
+```
+
+#### 8）在mnist下面新建三个目录code，data，output，下一个步骤中会使用。创建完毕后，你的mnist文件夹应该有如下结构。
+
+<kbd>
+  <img src="img/assignment7/ass7-tree.png">
+</kbd>
+
+在步骤四）和五）中，我们将代码放在code文件夹中，数据放在data中，模型放在output中
+
+
+## `**************作业3：请在mnist目录下运行ls -la命令并截图，插入实验报告***************`
+
+
+### 四）使用docker拉取python镜像，并进入容器运行python
+#### 1）运行docker，登录ucloud的镜像仓库，输入ucloud密码
+```
+docker login uhub.service.ucloud.cn -u 707661163@qq.com  //换成你的ucloud登录邮箱
+```
+
+#### 2）拉取python镜像
+```
+docker pull uhub.service.ucloud.cn/cloud_computing/python:latest
+```
+
+#### 3）运行容器，并进入bash
+```
+docker run -it uhub.service.ucloud.cn/cloud_computing/python /bin/bash
+```
+
+#### 4）测试python环境，查看已有包
+```
+python -V
+pip list
+```
+
+## `**************作业4：请将进入容器测试python页面截图，插入实验报告***************`
+
+
+### 五）使用python容器训练MNIST识别模型，最后将所有内容同步到水杉码园
+
+#### 1）按ctrl+d可退出容器，进入主机/mnt/mnist/data目录，下载mnist数据集。
+
+```
+wget https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
+```
+
+#### 2）此时让我们先把UFS中的这些文件push一把，同步到码园中。在/mnt/mnist下，运行
+
+```
+git remote add origin git@gitea.shuishan.net.cn:luxuesong_dase_ecnu_edu_cn/mnist.git   //替换成你的码园仓库
+git add .
+git commit -m "xuesong's first commit"
+git push origin master
+```
+
+没有报错则成功push，去水杉码园查看你的仓库验证。
+
+#### 3）下载mnist训练代码[mnist.py](file/assignment7/mnist.py)，把它放在/mnt/mnist/code/目录下。
+
+#### 4）进入python容器依次安装训练所需的包。
+```
+pip install -U numpy==1.16.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
+pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
+pip install tensorflow==1.14.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
+```
+
+#### 5）准备好数据、代码、环境，开始训练。因为/mnt/mnist目录在容器外部，所以运行时需要将此目录与容器内部的目录进行映射。
+```
+docker run -v /mnt/mnist:/home/mnist -it uhub.service.ucloud.cn/cloud_computing/python /bin/bash
+```
+
+## `**************作业5：上述代码训练的模型，在测试集上精度较低（如下图），请把测试集上的精度提升到95%以上（即运行model.evaluate(x_test,  y_test)后，accurray在95%以上），将运行结果截图并插入实验报告***************`
+
+> 提示：你可以尝试增加epoch，也可以尝试更换优化器，其他优化器有Adagrad, RMSprop, Adam等
+
+
+#### 6）保存训练代码，并push到水杉码园中。
+
+```
+git add .
+git commit -m "commit source code and model"
+git push origin master
+```