Update Assignment5.md

4 jaren geleden · 1e9992228b
--- a/Assignment5.md
+++ b/Assignment5.md
@ -9,9 +9,8 @@
 ##  实验内容

 - 创建Greenplum数据仓库实例: `实验步骤 一)` 
 - 登录数据仓库：`实验步骤 二)`
 - 练习建表、插入、查找等基本操作：`实验步骤 三)`
 - 使用MADlib完成简单的机器学习任务: `实验步骤  四)`
 - 登录数据仓库，并练习建表、插入、查找等基本操作：`实验步骤 二)`
 - 使用MADlib完成简单的机器学习任务: `实验步骤  三)`

 ## 实验要求（仔细看）

@ -78,6 +77,57 @@
 ### 二）登录数据仓库。Greenplum数据仓库的登录有很多方式，比如用PostgreSQL客户端登录，用Greenplum客户端登录，用JDBC（在Java中使用）或者ODBC（在C/C++中使用）访问，用psycopg2（在Python中使用）访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。

 #### 1）使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机，选择按流量计费，20M带宽，云主机按小时付费。登录以后运行以下命令，安装PostgreSQL客户端psql。
 ```
 sudo yum install postgresql.x86_64 -y
 ```

 ##### 1.1）安装完毕后运行以下命令登录数据仓库。将相关参数替换成你的数据仓库参数。登录后将看到如下界面（我们已经在dev库中）。
 ```
 psql -h hostIP –U username -d database -p port
 ```
 <kbd>
  <img src="img/assignment5/ass5-psglog.jpg">
 </kbd>

 ## `**************作业1：请将登录命令和登录成功界面截图，并插入实验报告***************`

 ##### 1.2）让我们运行几个SQL代码来实现建表，插入，查询等操作。
 > 复制以下sql代码，并在psql中运行（注意要包含最后的分号）
 ```
 CREATE TABLE regression (
   id int,
   y int,
   x1 int,
   x2 int
 );
 ```

 > 运行后我们看到如下notice，提示建表时没有使用`DISTRIBUTED BY`语句，因此Greenplum默认使用id作为分布键。这是因为greenplum是一个分布式数仓，数据会分布在不同的节点上，因此建表的时候要用`DISTRIBUTED BY`语句说明按照哪一个属性（即所谓“分布键”）对数据进行划分。由于我们没有指定，系统默认使用了第一列作为分布键。

 <kbd>
  <img src="img/assignment5/ass5-notice.jpg">
 </kbd>


 > 接着让我们在regression表中插入一些值
 ```
 INSERT INTO regression VALUES 
   (1,  5, 2, 3),
   (2, 10, 7, 2),
   (3,  6, 4, 1),
   (4,  8, 3, 4);
 ```

 > 让我们查询一下regression表中的数据。你应该看到如下输出。
 ```
 SELECT * FROM regression;
 ```

 <kbd>
  <img src="img/assignment5/ass5-psgselect.jpg">
 </kbd>

 ## `**************作业2：请将regression表的查询命令和输出结果截图，并插入实验报告***************`


 #### 2）使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库，比如用Python读取DW中的数据，然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。
@ -89,12 +139,12 @@ sudo yum install gcc -y
 pip3 install --user psycopg2
 ```

 ##### 1.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。
 ##### 2.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。
 <kbd>
  <img src="img/assignment5/ass5-pylog.jpg">
 </kbd>

 ##### 1.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。
 ##### 2.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。

 > 建立createTable.py文件，并复制如下代码。其中username，password，hostIP，port都要替换成你的数据仓库参数。
 ```
@ -141,6 +191,7 @@ conn.close()
 ```

 > 你应该会看到如下输出。

 <kbd>
  <img src="img/assignment5/ass5-pyselect.jpg">
 </kbd>
@ -148,192 +199,33 @@ conn.close()
 ## `**************作业3：请将运行selectTable.py的命令和输出结果截图，并插入实验报告***************`


 ##### 方法一：通过phpMyAdmin网页登录
 <kbd>
  <img src="img/assignment4/mysqllgphp.jpeg">
 </kbd>

 <kbd>
  <img src="img/assignment4/mysqlphppass.jpeg">
 </kbd>

 <kbd>
  <img src="img/assignment4/mysqlphp.png">
 </kbd>

 ## `**************作业1：请将通过phpMyAdmin登录数据库的主页截图，并插入实验报告***************`


 ##### 方法二：通过云主机MySQL客户端，使用ip和端口登录（还记得怎么创建云主机吗 :dog:）

 a）在云主机上安装MySQL客户端（root登录不需要加sudo）
 ```
 sudo yum -y install mysql
 ```
 <kbd>
  <img src="img/assignment4/mysqlinstall.png">
 </kbd>

 b）登录刚刚创建的数据库。其中，h表示host，即数据库的ip地址；P表示端口，数据库使用默认端口可省略；u表示登录数据库的username；p表示该username的登录密码
 ```
 mysql -h$IP -P$Port -u$User -p$Password
 ```
 <kbd>
  <img src="img/assignment4/mysqlcentlogin.png">
 </kbd>

 ## `**************作业2：请将通过MySQL客户端登录数据库的画面截图（包含命令），并插入实验报告***************`


 ### 二）创建用户数据库，并建表（注：之前说的数据库是指数据库系统，这里说的数据库是指真正存储数据的逻辑库）

 #### 1）创建一个airport数据库
 <kbd>
  <img src="img/assignment4/createDB.png">
 </kbd>

 <kbd>
  <img src="img/assignment4/airDB.png">
 </kbd>

 #### 2）让我们创建数据表shops和flights
 <kbd>
  <img src="img/assignment4/tableshop.png">
 </kbd>
 <kbd>
  <img src="img/assignment4/tableflight.png">
 </kbd>
 <kbd>
  <img src="img/assignment4/twotables.png">
 </kbd>


 ### 三）使用MADlib完成简单的机器学习任务（线性回归）

 #### 1）前面我们说过，在Greenplum中使用MADlib插件可以直接在DW中建立机器学习模型。这里我们用二）中的regression表跑一下线性回归算法。请使用psql或者psycopg2登录数仓，并运行如下命令。

 #### 3）在表中插入一些数据。在刚才建表的窗口执行以下SQL语句。
 ```
 INSERT INTO shops
 VALUES 
 (1,'StarBucks','T1-203','2020-03-01'),
 (2,'7-Eleven','T2-311','2020-05-22'),
 (3,'Apple Store','T1-215','2020-06-14'),
 (4,'Huawei Mobile','T3-222','2020-10-28');
 SELECT madlib.linregr_train (
   'regression',           -- source table
   'regression_model',     -- output model table
   'y',                    -- dependent variable 
   'ARRAY[1, x1, x2]'      -- independent variables
 );
 ```

 ```
 INSERT INTO flights
 VALUES 
 ('MU567','China Eastern','Shanghai','Singapore','2020-03-01 14:20','A52'),
 ('CA7209','Air China','Shanghai','San Francisco','2020-05-22 13:45','B12'),
 ('JL872','JAPAN AIRLINES','Shanghai','Tokyo','2020-09-15 09:00','A33');
 ```
 > 这里我们看到使用了MADlib的线性回归模型linregr_train来对regression表中的数据进行训练，模型输入变量为x1, x2以及偏置项，输出变量为y。训练好的模型保存在regression_model表中。

 > 看到类似如下页面，说明插入成功！

 <kbd>
  <img src="img/assignment4/insertValues.png">
 </kbd>

 #### 4）看看我们的表中现在有什么吧 :yum:
 ```
 SELECT * FROM shops;
 ```
 > 让我们看下模型表中有什么

 ```
 SELECT * FROM flights;
 SELECT * FROM regression_model;
 ```

 > 可能输出比较乱，你可以运行以下命令，让表的结果竖起来。

 ## `**************作业3：请将执行 SELECT * FROM flights 语句后的页面截图，并插入实验报告***************`


 ### 三）使用Wordpress和MySQL数据库创建个人博客

 > WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。WordPress具有插件架构和模板系统。截至2018年4月，排名前1000万的网站中超过30.6%使用WordPress。WordPress是最受欢迎的网站内容管理系统。全球有大约30%的网站(7亿5000个)都是使用WordPress架设网站的。(来源：[Wikipedia](https://zh.wikipedia.org/wiki/WordPress))

 #### 1）启动docker服务，并从公共库pull wordpress的镜像
 ```
 sudo docker pull wordpress
 ```
 > root账户不需要加sudo，普通账户使用sudo权限操作docker前，需将username加入到docker组，例如 `sudo usermod -aG docker luxuesong`

 > 忘记如何安装启动docker的同学请参考[实验二](http://106.75.225.141/xuesong/cloud-computing-course/blob/master/Assignment2.md)。

 > 你也可以登录ucloud镜像库并下载wordpress镜像，速度会快很多

 \x
 SELECT * FROM regression_model;
 ```
 sudo docker pull cloud_computing/wordpress
 ```

 <kbd>
  <img src="img/assignment4/wordpressdocker.png">
 </kbd>

 #### 2）运行wordpress的docker镜像，并将container的80和433端口暴露给云主机
 ```
 sudo docker run --rm -d -p 80:80 -p 443:443 --name myWordpress -e WORDPRESS_DB_HOST=10.23.243.194:3306 -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=mysql123 wordpress
 ```

 > 回顾docker run语法，--rm container停止运行时自动删除，-d 以Detached模式运行container，-p 80:80 将container的80端口映射到云主机的80端口，--name为container取名(myWordpress)，最后一个wordpress是镜像名。

 > 这里遇到一个新的option -e，表示设置container的环境变量。因为我们要让wordpress网站连接MySQL数据库，所以要为container设置数据库相关的环境变量。

 > WORDPRESS_DB_HOST是要连接的数据库ip和端口，WORDPRESS_DB_USER是数据库登录名，WORDPRESS_DB_PASSWORD是登陆密码，请设置为你的数据库信息。

 <kbd>
  <img src="img/assignment4/runWord.png">
 </kbd>

 #### 3）个人博客已经运行，快去看看吧，http://你的云主机ip地址

 > 首次登录需要配置一下

 <kbd>
  <img src="img/assignment4/wp1.png">
 </kbd>
 <kbd>
  <img src="img/assignment4/wp2.png">
 </kbd>

 > 登录后进入dashboard，可以对你的博客网站进行定制。点击左上角你设定的网站名，可以进入博客主页（哇。。。界面属实有点拉垮）。

 <kbd>
  <img src="img/assignment4/dashboard.png">
 </kbd>

 <kbd>
  <img src="img/assignment4/blog1.png">
 </kbd>

 > 让我们换个主题场景，点击左上角dashboard，进入Appearance->Themes，选择Twenty Seventeen，并点击Activate，重新进入博客看看

 <kbd>
  <img src="img/assignment4/theme1.png">
 </kbd>
 <kbd>
  <img src="img/assignment4/theme2.png">
 </kbd>

 #### 4）让我们回过头看看数据库里面的变化

 <kbd>
  <img src="img/assignment4/wpdb.png">
 </kbd>

 > wordpress自动创建了一个数据库，并添加了若干数据表，存储博客网站的数据

 #### 5）最后，让我们写一个简单的博客吧

 <kbd>
  <img src="img/assignment4/newpost.png">
 </kbd>

 <kbd>
  <img src="img/assignment4/newpost2.png">
 </kbd>

 <kbd>
  <img src="img/assignment4/post.png">
 </kbd>
 > 这样是不是顺眼多了 :bowtie: :bowtie: :bowtie: 我们看到了线性回归模型的参数以及标准差，p-value等指标的值

 ## `**************作业4：请任意写一个博客并发布（除了“什么是云计算”），截图博客并插入实验报告***************`