cloud-computing-course/Assignment5.md

# Assignment 5 指南

## `******注意，实验结束请立即删除云主机和数据仓库，节省费用******` 

## `******注意2，实验未结束且短期内不会继续实验，也请删除云主机和数据仓库。下次实验时重新创建******` 



##  实验内容

- 创建Greenplum数据仓库实例: `实验步骤 一)` 
- 登录数据仓库：`实验步骤 二)`
- 练习建表、查找、删表等基本操作：`实验步骤 三)`
- 使用MADlib完成简单的机器学习任务: `实验步骤  四)`

## 实验要求（仔细看）

- 完成所有步骤，并在实验报告（[模板下载](file/assignment4/学号-实验四.docx))中完成穿插在本指南中的作业1～作业4（只需要截图）。实验报告转成“学号-实验四.pdf”，并上传至http://113.31.104.68:3389/index.htm
- 实验报告上传deadline： `11月6日`

## 使用UCloud产品 

云数据仓库UDW、云主机uhost、私有网络vpc、基础网络unet

## 需要权限

云数据仓库UDW、云主机uhost、基础网络unet


## 基础知识（本实验详细知识会在数据仓库相关课程中学习，这里我们仅简单熟悉一下相关操作，你也可以去Google上Baidu一下相关知识 :ghost: :ghost: :ghost:）


`数据仓库:` data warehouse（缩写DW），是用于报告和数据分析的数据管理系统。

`和SQL数据库的区别:` 传统的关系型数据库（如实验四中的MySQL）主要应用于基本的、日常的事务处理（Transaction Processing），例如银行交易，淘宝购物，订购车票等。而数据仓库系统主要应用于生产数据的整理和分析（Analytical Processing），通过扩展数据分析和可视化等工具，支持业务决策，例如流量分析、用户画像、统计建模等。

举个简单例子，淘宝前端（网页端、app端）每天的交易事务，都是用关系型数据库支持的。而每天的交易数据，会定时导入到后端的数据仓库（俗称ETL，Extract, Transform, Load），并根据特定业务逻辑重新整理，从而方便后端各个团队分析数据和做出业务决策。

<kbd>
  <img src="img/assignment5/ass5-etl.jpg">
</kbd>


`UDW云数据仓库:` 是UCloud的DW产品，基于开源软件Greenplum（底层为PostgreSQL数据库）开发的大规模并发、完全托管的PB级数据仓库服务。支持MADlib、PostGIS等扩展工具，可以方便地支持机器学习、空间地理位置应用等数据分析任务。

`MADlib:` MADlib提供了一套基于SQL的机器学习、数据挖掘和统计算法，可以在数据库引擎内大规模运行。在Greenplum中安装了MADlib插件以后，可以直接在数据仓库内进行复杂计算和数据建模等工作。


闲话少说，我们开始创建一个UDW玩玩。:ghost: :ghost: :ghost:

## 实验步骤

### 一）创建Greenplum数据仓库实例

#### 1）在产品中选择云数据仓库UDW，然后点击新建数据仓库
<kbd>
  <img src="img/assignment5/ass5-udw.jpg">
</kbd>

#### 2）使用默认配置，2个节点。将子网改成"DefaultNetwork"，记住DB名称，端口，管理员用户名，设置管理员密码。选择按时付费，立即购买。
<kbd>
  <img src="img/assignment5/ass5-dft.jpg">
</kbd>

<kbd>
  <img src="img/assignment5/ass5-cfg.jpg">
</kbd>

<kbd>
  <img src="img/assignment5/ass5-pay.jpg">
</kbd>

#### 3）支付之后，数仓创建时间从几分钟到十几分钟不等，等状态显示“运行中”，则创建完毕。记住数仓的IP地址。
<kbd>
  <img src="img/assignment5/ass5-created.jpg">
</kbd>

### 二）登录数据仓库。Greenplum数据仓库的登录有很多方式，比如用PostgreSQL客户端登录，用Greenplum客户端登录，用JDBC（在Java中使用）或者ODBC（在C/C++中使用）访问，用psycopg2（在Python中使用）访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。

#### 1）使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机，选择按流量计费，20M带宽，云主机按小时付费。登录以后运行以下命令，安装PostgreSQL客户端psql。


#### 2）使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库，比如用Python读取DW中的数据，然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。
```
sudo yum install python3-devel -y
sudo yum install postgresql-libs -y
sudo yum install postgresql-devel -y
sudo yum install gcc -y
pip3 install --user psycopg2
```

##### 1.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。
<kbd>
  <img src="img/assignment5/ass5-pylog.jpg">
</kbd>

##### 1.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插值，查询等操作。

> 建立createTable.py文件，并复制如下代码。其中username，password，hostIP，port都要替换成你的数据仓库参数。
```
import psycopg2
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port")
cur = conn.cursor()
cur.execute('CREATE TABLE COMPANY (ID INT PRIMARY KEY   NOT NULL,\
                                   NAME TEXT            NOT NULL,\
                                   AGE                  INT     NOT NULL,\
                                   ADDRESS              CHAR(10),\
                                   SALARY               REAL);')
conn.commit()
conn.close()
```

> 运行createTable.py，如果没有报错，则说明建表成功。
```
python3 createTable.py
```

> 向COMPANY表中添加一些记录。建立insertTable.py文件，复制如下代码并运行。
```
import psycopg2
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port")
cur = conn.cursor()
cur.execute("INSERT INTO COMPANY VALUES (1, 'Paul', 32, 'California', 20000.00 )");
cur.execute("INSERT INTO COMPANY VALUES (2, 'Allen', 25, 'Texas', 15000.00 )");
cur.execute("INSERT INTO COMPANY VALUES (3, 'Eric', 35, 'Florida', 25000.00 )");
conn.commit()
conn.close()
```

> 让我们查询一下刚刚建的表。建立selectTable.py文件，复制如下代码并运行。
```
import psycopg2
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port")
cur = conn.cursor()
cur.execute("SELECT id, name, address, salary  from COMPANY order by id")
rows = cur.fetchall()
print ("ID\tNAME\tADDRESS\tSALARY")
for row in rows:
    print (row[0], "\t", row[1], "\t", row[2], "\t", row[3])
conn.close()
```


<kbd>
  <img src="img/assignment4/mysqlins.jpeg">
</kbd>



##### 方法一：通过phpMyAdmin网页登录
<kbd>
  <img src="img/assignment4/mysqllgphp.jpeg">
</kbd>

<kbd>
  <img src="img/assignment4/mysqlphppass.jpeg">
</kbd>

<kbd>
  <img src="img/assignment4/mysqlphp.png">
</kbd>

## `**************作业1：请将通过phpMyAdmin登录数据库的主页截图，并插入实验报告***************`


##### 方法二：通过云主机MySQL客户端，使用ip和端口登录（还记得怎么创建云主机吗 :dog:）

a）在云主机上安装MySQL客户端（root登录不需要加sudo）
```
sudo yum -y install mysql
```
<kbd>
  <img src="img/assignment4/mysqlinstall.png">
</kbd>

b）登录刚刚创建的数据库。其中，h表示host，即数据库的ip地址；P表示端口，数据库使用默认端口可省略；u表示登录数据库的username；p表示该username的登录密码
```
mysql -h$IP -P$Port -u$User -p$Password
```
<kbd>
  <img src="img/assignment4/mysqlcentlogin.png">
</kbd>

## `**************作业2：请将通过MySQL客户端登录数据库的画面截图（包含命令），并插入实验报告***************`


### 二）创建用户数据库，并建表（注：之前说的数据库是指数据库系统，这里说的数据库是指真正存储数据的逻辑库）

#### 1）创建一个airport数据库
<kbd>
  <img src="img/assignment4/createDB.png">
</kbd>

<kbd>
  <img src="img/assignment4/airDB.png">
</kbd>

#### 2）让我们创建数据表shops和flights
<kbd>
  <img src="img/assignment4/tableshop.png">
</kbd>
<kbd>
  <img src="img/assignment4/tableflight.png">
</kbd>
<kbd>
  <img src="img/assignment4/twotables.png">
</kbd>




#### 3）在表中插入一些数据。在刚才建表的窗口执行以下SQL语句。
```
INSERT INTO shops
VALUES 
(1,'StarBucks','T1-203','2020-03-01'),
(2,'7-Eleven','T2-311','2020-05-22'),
(3,'Apple Store','T1-215','2020-06-14'),
(4,'Huawei Mobile','T3-222','2020-10-28');
```

```
INSERT INTO flights
VALUES 
('MU567','China Eastern','Shanghai','Singapore','2020-03-01 14:20','A52'),
('CA7209','Air China','Shanghai','San Francisco','2020-05-22 13:45','B12'),
('JL872','JAPAN AIRLINES','Shanghai','Tokyo','2020-09-15 09:00','A33');
```

> 看到类似如下页面，说明插入成功！

<kbd>
  <img src="img/assignment4/insertValues.png">
</kbd>

#### 4）看看我们的表中现在有什么吧 :yum:
```
SELECT * FROM shops;
```

```
SELECT * FROM flights;
```


## `**************作业3：请将执行 SELECT * FROM flights 语句后的页面截图，并插入实验报告***************`


### 三）使用Wordpress和MySQL数据库创建个人博客

> WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。WordPress具有插件架构和模板系统。截至2018年4月，排名前1000万的网站中超过30.6%使用WordPress。WordPress是最受欢迎的网站内容管理系统。全球有大约30%的网站(7亿5000个)都是使用WordPress架设网站的。(来源：[Wikipedia](https://zh.wikipedia.org/wiki/WordPress))

#### 1）启动docker服务，并从公共库pull wordpress的镜像
```
sudo docker pull wordpress
```
> root账户不需要加sudo，普通账户使用sudo权限操作docker前，需将username加入到docker组，例如 `sudo usermod -aG docker luxuesong`

> 忘记如何安装启动docker的同学请参考[实验二](http://106.75.225.141/xuesong/cloud-computing-course/blob/master/Assignment2.md)。

> 你也可以登录ucloud镜像库并下载wordpress镜像，速度会快很多

```
sudo docker pull cloud_computing/wordpress
```

<kbd>
  <img src="img/assignment4/wordpressdocker.png">
</kbd>

#### 2）运行wordpress的docker镜像，并将container的80和433端口暴露给云主机
```
sudo docker run --rm -d -p 80:80 -p 443:443 --name myWordpress -e WORDPRESS_DB_HOST=10.23.243.194:3306 -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=mysql123 wordpress
```

> 回顾docker run语法，--rm container停止运行时自动删除，-d 以Detached模式运行container，-p 80:80 将container的80端口映射到云主机的80端口，--name为container取名(myWordpress)，最后一个wordpress是镜像名。

> 这里遇到一个新的option -e，表示设置container的环境变量。因为我们要让wordpress网站连接MySQL数据库，所以要为container设置数据库相关的环境变量。

> WORDPRESS_DB_HOST是要连接的数据库ip和端口，WORDPRESS_DB_USER是数据库登录名，WORDPRESS_DB_PASSWORD是登陆密码，请设置为你的数据库信息。

<kbd>
  <img src="img/assignment4/runWord.png">
</kbd>

#### 3）个人博客已经运行，快去看看吧，http://你的云主机ip地址

> 首次登录需要配置一下

<kbd>
  <img src="img/assignment4/wp1.png">
</kbd>
<kbd>
  <img src="img/assignment4/wp2.png">
</kbd>

> 登录后进入dashboard，可以对你的博客网站进行定制。点击左上角你设定的网站名，可以进入博客主页（哇。。。界面属实有点拉垮）。

<kbd>
  <img src="img/assignment4/dashboard.png">
</kbd>

<kbd>
  <img src="img/assignment4/blog1.png">
</kbd>

> 让我们换个主题场景，点击左上角dashboard，进入Appearance->Themes，选择Twenty Seventeen，并点击Activate，重新进入博客看看

<kbd>
  <img src="img/assignment4/theme1.png">
</kbd>
<kbd>
  <img src="img/assignment4/theme2.png">
</kbd>

#### 4）让我们回过头看看数据库里面的变化

<kbd>
  <img src="img/assignment4/wpdb.png">
</kbd>

> wordpress自动创建了一个数据库，并添加了若干数据表，存储博客网站的数据

#### 5）最后，让我们写一个简单的博客吧

<kbd>
  <img src="img/assignment4/newpost.png">
</kbd>

<kbd>
  <img src="img/assignment4/newpost2.png">
</kbd>

<kbd>
  <img src="img/assignment4/post.png">
</kbd>

## `**************作业4：请任意写一个博客并发布（除了“什么是云计算”），截图博客并插入实验报告***************`