xslu_dase_ecnu_edu_cn
/
cloud-computing-course
3
0
Fork 4
Code Issues 0 Pull Requests 0 Releases 0 Wiki Activity
Browse Source

Update Assignment5.md

merge-requests/7/head
xuesong 3 years ago
parent
98ddc0061e
commit
1e9992228b
1 changed files with 71 additions and 179 deletions
Split View
Diff Options
Show Stats Download Patch File Download Diff File
  1. +71
    -179
      Assignment5.md

+ 71
- 179
Assignment5.md View File

@ -9,9 +9,8 @@
## 实验内容
- 创建Greenplum数据仓库实例: `实验步骤 一)`
- 登录数据仓库：`实验步骤 二)`
- 练习建表、插入、查找等基本操作：`实验步骤 三)`
- 使用MADlib完成简单的机器学习任务: `实验步骤 四)`
- 登录数据仓库，并练习建表、插入、查找等基本操作：`实验步骤 二)`
- 使用MADlib完成简单的机器学习任务: `实验步骤 三)`
## 实验要求（仔细看）
@ -78,6 +77,57 @@
### 二）登录数据仓库。Greenplum数据仓库的登录有很多方式，比如用PostgreSQL客户端登录，用Greenplum客户端登录，用JDBC（在Java中使用）或者ODBC（在C/C++中使用）访问，用psycopg2（在Python中使用）访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。
#### 1）使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机，选择按流量计费，20M带宽，云主机按小时付费。登录以后运行以下命令，安装PostgreSQL客户端psql。
```
sudo yum install postgresql.x86_64 -y
```
##### 1.1）安装完毕后运行以下命令登录数据仓库。将相关参数替换成你的数据仓库参数。登录后将看到如下界面（我们已经在dev库中）。
```
psql -h hostIP –U username -d database -p port
```
<kbd>
<img src="img/assignment5/ass5-psglog.jpg">
</kbd>
## `**************作业1：请将登录命令和登录成功界面截图，并插入实验报告***************`
##### 1.2）让我们运行几个SQL代码来实现建表，插入，查询等操作。
> 复制以下sql代码，并在psql中运行（注意要包含最后的分号）
```
CREATE TABLE regression (
id int,
y int,
x1 int,
x2 int
);
```
> 运行后我们看到如下notice，提示建表时没有使用`DISTRIBUTED BY`语句，因此Greenplum默认使用id作为分布键。这是因为greenplum是一个分布式数仓，数据会分布在不同的节点上，因此建表的时候要用`DISTRIBUTED BY`语句说明按照哪一个属性（即所谓“分布键”）对数据进行划分。由于我们没有指定，系统默认使用了第一列作为分布键。
<kbd>
<img src="img/assignment5/ass5-notice.jpg">
</kbd>
> 接着让我们在regression表中插入一些值
```
INSERT INTO regression VALUES
(1, 5, 2, 3),
(2, 10, 7, 2),
(3, 6, 4, 1),
(4, 8, 3, 4);
```
> 让我们查询一下regression表中的数据。你应该看到如下输出。
```
SELECT * FROM regression;
```
<kbd>
<img src="img/assignment5/ass5-psgselect.jpg">
</kbd>
## `**************作业2：请将regression表的查询命令和输出结果截图，并插入实验报告***************`
#### 2）使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库，比如用Python读取DW中的数据，然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。
@ -89,12 +139,12 @@ sudo yum install gcc -y
pip3 install --user psycopg2
```
##### 1.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。
##### 2.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。
<kbd>
<img src="img/assignment5/ass5-pylog.jpg">
</kbd>
##### 1.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。
##### 2.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。
> 建立createTable.py文件，并复制如下代码。其中username，password，hostIP，port都要替换成你的数据仓库参数。
```
@ -141,6 +191,7 @@ conn.close()
```
> 你应该会看到如下输出。
<kbd>
<img src="img/assignment5/ass5-pyselect.jpg">
</kbd>
@ -148,192 +199,33 @@ conn.close()
## `**************作业3：请将运行selectTable.py的命令和输出结果截图，并插入实验报告***************`
##### 方法一：通过phpMyAdmin网页登录
<kbd>
<img src="img/assignment4/mysqllgphp.jpeg">
</kbd>
<kbd>
<img src="img/assignment4/mysqlphppass.jpeg">
</kbd>
<kbd>
<img src="img/assignment4/mysqlphp.png">
</kbd>
## `**************作业1：请将通过phpMyAdmin登录数据库的主页截图，并插入实验报告***************`
##### 方法二：通过云主机MySQL客户端，使用ip和端口登录（还记得怎么创建云主机吗 :dog:）
a）在云主机上安装MySQL客户端（root登录不需要加sudo）
```
sudo yum -y install mysql
```
<kbd>
<img src="img/assignment4/mysqlinstall.png">
</kbd>
b）登录刚刚创建的数据库。其中，h表示host，即数据库的ip地址；P表示端口，数据库使用默认端口可省略；u表示登录数据库的username；p表示该username的登录密码
```
mysql -h$IP -P$Port -u$User -p$Password
```
<kbd>
<img src="img/assignment4/mysqlcentlogin.png">
</kbd>
## `**************作业2：请将通过MySQL客户端登录数据库的画面截图（包含命令），并插入实验报告***************`
### 二）创建用户数据库，并建表（注：之前说的数据库是指数据库系统，这里说的数据库是指真正存储数据的逻辑库）
#### 1）创建一个airport数据库
<kbd>
<img src="img/assignment4/createDB.png">
</kbd>
<kbd>
<img src="img/assignment4/airDB.png">
</kbd>
#### 2）让我们创建数据表shops和flights
<kbd>
<img src="img/assignment4/tableshop.png">
</kbd>
<kbd>
<img src="img/assignment4/tableflight.png">
</kbd>
<kbd>
<img src="img/assignment4/twotables.png">
</kbd>
### 三）使用MADlib完成简单的机器学习任务（线性回归）
#### 1）前面我们说过，在Greenplum中使用MADlib插件可以直接在DW中建立机器学习模型。这里我们用二）中的regression表跑一下线性回归算法。请使用psql或者psycopg2登录数仓，并运行如下命令。
#### 3）在表中插入一些数据。在刚才建表的窗口执行以下SQL语句。
```
INSERT INTO shops
VALUES
(1,'StarBucks','T1-203','2020-03-01'),
(2,'7-Eleven','T2-311','2020-05-22'),
(3,'Apple Store','T1-215','2020-06-14'),
(4,'Huawei Mobile','T3-222','2020-10-28');
SELECT madlib.linregr_train (
'regression', -- source table
'regression_model', -- output model table
'y', -- dependent variable
'ARRAY[1, x1, x2]' -- independent variables
);
```
```
INSERT INTO flights
VALUES
('MU567','China Eastern','Shanghai','Singapore','2020-03-01 14:20','A52'),
('CA7209','Air China','Shanghai','San Francisco','2020-05-22 13:45','B12'),
('JL872','JAPAN AIRLINES','Shanghai','Tokyo','2020-09-15 09:00','A33');
```
> 这里我们看到使用了MADlib的线性回归模型linregr_train来对regression表中的数据进行训练，模型输入变量为x1, x2以及偏置项，输出变量为y。训练好的模型保存在regression_model表中。
> 看到类似如下页面，说明插入成功！
<kbd>
<img src="img/assignment4/insertValues.png">
</kbd>
#### 4）看看我们的表中现在有什么吧 :yum:
```
SELECT * FROM shops;
```
> 让我们看下模型表中有什么
```
SELECT * FROM flights;
SELECT * FROM regression_model;
```
> 可能输出比较乱，你可以运行以下命令，让表的结果竖起来。
## `**************作业3：请将执行 SELECT * FROM flights 语句后的页面截图，并插入实验报告***************`
### 三）使用Wordpress和MySQL数据库创建个人博客
> WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。WordPress具有插件架构和模板系统。截至2018年4月，排名前1000万的网站中超过30.6%使用WordPress。WordPress是最受欢迎的网站内容管理系统。全球有大约30%的网站(7亿5000个)都是使用WordPress架设网站的。(来源：[Wikipedia](https://zh.wikipedia.org/wiki/WordPress))
#### 1）启动docker服务，并从公共库pull wordpress的镜像
```
sudo docker pull wordpress
```
> root账户不需要加sudo，普通账户使用sudo权限操作docker前，需将username加入到docker组，例如 `sudo usermod -aG docker luxuesong`
> 忘记如何安装启动docker的同学请参考[实验二](http://106.75.225.141/xuesong/cloud-computing-course/blob/master/Assignment2.md)。
> 你也可以登录ucloud镜像库并下载wordpress镜像，速度会快很多
\x
SELECT * FROM regression_model;
```
sudo docker pull cloud_computing/wordpress
```
<kbd>
<img src="img/assignment4/wordpressdocker.png">
</kbd>
#### 2）运行wordpress的docker镜像，并将container的80和433端口暴露给云主机
```
sudo docker run --rm -d -p 80:80 -p 443:443 --name myWordpress -e WORDPRESS_DB_HOST=10.23.243.194:3306 -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=mysql123 wordpress
```
> 回顾docker run语法，--rm container停止运行时自动删除，-d 以Detached模式运行container，-p 80:80 将container的80端口映射到云主机的80端口，--name为container取名(myWordpress)，最后一个wordpress是镜像名。
> 这里遇到一个新的option -e，表示设置container的环境变量。因为我们要让wordpress网站连接MySQL数据库，所以要为container设置数据库相关的环境变量。
> WORDPRESS_DB_HOST是要连接的数据库ip和端口，WORDPRESS_DB_USER是数据库登录名，WORDPRESS_DB_PASSWORD是登陆密码，请设置为你的数据库信息。
<kbd>
<img src="img/assignment4/runWord.png">
</kbd>
#### 3）个人博客已经运行，快去看看吧，http://你的云主机ip地址
> 首次登录需要配置一下
<kbd>
<img src="img/assignment4/wp1.png">
</kbd>
<kbd>
<img src="img/assignment4/wp2.png">
</kbd>
> 登录后进入dashboard，可以对你的博客网站进行定制。点击左上角你设定的网站名，可以进入博客主页（哇。。。界面属实有点拉垮）。
<kbd>
<img src="img/assignment4/dashboard.png">
</kbd>
<kbd>
<img src="img/assignment4/blog1.png">
</kbd>
> 让我们换个主题场景，点击左上角dashboard，进入Appearance->Themes，选择Twenty Seventeen，并点击Activate，重新进入博客看看
<kbd>
<img src="img/assignment4/theme1.png">
</kbd>
<kbd>
<img src="img/assignment4/theme2.png">
</kbd>
#### 4）让我们回过头看看数据库里面的变化
<kbd>
<img src="img/assignment4/wpdb.png">
</kbd>
> wordpress自动创建了一个数据库，并添加了若干数据表，存储博客网站的数据
#### 5）最后，让我们写一个简单的博客吧
<kbd>
<img src="img/assignment4/newpost.png">
</kbd>
<kbd>
<img src="img/assignment4/newpost2.png">
</kbd>
<kbd>
<img src="img/assignment4/post.png">
</kbd>
> 这样是不是顺眼多了 :bowtie: :bowtie: :bowtie: 我们看到了线性回归模型的参数以及标准差，p-value等指标的值
## `**************作业4：请任意写一个博客并发布（除了“什么是云计算”），截图博客并插入实验报告***************`

Write Preview
Loading…
Cancel
Save