diff --git a/Assignment5.md b/Assignment5.md index f23f877..186f649 100644 --- a/Assignment5.md +++ b/Assignment5.md @@ -9,9 +9,8 @@ ## 实验内容 - 创建Greenplum数据仓库实例: `实验步骤 一)` -- 登录数据仓库：`实验步骤 二)` -- 练习建表、插入、查找等基本操作：`实验步骤 三)` -- 使用MADlib完成简单的机器学习任务: `实验步骤 四)` +- 登录数据仓库，并练习建表、插入、查找等基本操作：`实验步骤 二)` +- 使用MADlib完成简单的机器学习任务: `实验步骤 三)` ## 实验要求（仔细看） @@ -78,6 +77,57 @@ ### 二）登录数据仓库。Greenplum数据仓库的登录有很多方式，比如用PostgreSQL客户端登录，用Greenplum客户端登录，用JDBC（在Java中使用）或者ODBC（在C/C++中使用）访问，用psycopg2（在Python中使用）访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。 #### 1）使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机，选择按流量计费，20M带宽，云主机按小时付费。登录以后运行以下命令，安装PostgreSQL客户端psql。 +``` +sudo yum install postgresql.x86_64 -y +``` + +##### 1.1）安装完毕后运行以下命令登录数据仓库。将相关参数替换成你的数据仓库参数。登录后将看到如下界面（我们已经在dev库中）。 +``` +psql -h hostIP –U username -d database -p port +``` + + + + +## `**************作业1：请将登录命令和登录成功界面截图，并插入实验报告***************` + +##### 1.2）让我们运行几个SQL代码来实现建表，插入，查询等操作。 +> 复制以下sql代码，并在psql中运行（注意要包含最后的分号） +``` +CREATE TABLE regression ( + id int, + y int, + x1 int, + x2 int +); +``` + +> 运行后我们看到如下notice，提示建表时没有使用`DISTRIBUTED BY`语句，因此Greenplum默认使用id作为分布键。这是因为greenplum是一个分布式数仓，数据会分布在不同的节点上，因此建表的时候要用`DISTRIBUTED BY`语句说明按照哪一个属性（即所谓“分布键”）对数据进行划分。由于我们没有指定，系统默认使用了第一列作为分布键。 + + + + + + +> 接着让我们在regression表中插入一些值 +``` +INSERT INTO regression VALUES + (1, 5, 2, 3), + (2, 10, 7, 2), + (3, 6, 4, 1), + (4, 8, 3, 4); +``` + +> 让我们查询一下regression表中的数据。你应该看到如下输出。 +``` +SELECT * FROM regression; +``` + + + + + +## `**************作业2：请将regression表的查询命令和输出结果截图，并插入实验报告***************` #### 2）使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库，比如用Python读取DW中的数据，然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。 @@ -89,12 +139,12 @@ sudo yum install gcc -y pip3 install --user psycopg2 ``` -##### 1.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。 +##### 2.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。 -##### 1.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。 +##### 2.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。 > 建立createTable.py文件，并复制如下代码。其中username，password，hostIP，port都要替换成你的数据仓库参数。 ``` @@ -141,6 +191,7 @@ conn.close() ``` > 你应该会看到如下输出。 + @@ -148,192 +199,33 @@ conn.close() ## `**************作业3：请将运行selectTable.py的命令和输出结果截图，并插入实验报告***************` -##### 方法一：通过phpMyAdmin网页登录 - - - - - - - - - - - - -## `**************作业1：请将通过phpMyAdmin登录数据库的主页截图，并插入实验报告***************` - - -##### 方法二：通过云主机MySQL客户端，使用ip和端口登录（还记得怎么创建云主机吗 :dog:） - -a）在云主机上安装MySQL客户端（root登录不需要加sudo） -``` -sudo yum -y install mysql -``` - - - - -b）登录刚刚创建的数据库。其中，h表示host，即数据库的ip地址；P表示端口，数据库使用默认端口可省略；u表示登录数据库的username；p表示该username的登录密码 -``` -mysql -h$IP -P$Port -u$User -p$Password -``` - - - - -## `**************作业2：请将通过MySQL客户端登录数据库的画面截图（包含命令），并插入实验报告***************` - - -### 二）创建用户数据库，并建表（注：之前说的数据库是指数据库系统，这里说的数据库是指真正存储数据的逻辑库） - -#### 1）创建一个airport数据库 - - - - - - - - -#### 2）让我们创建数据表shops和flights - - - - - - - - - - - +### 三）使用MADlib完成简单的机器学习任务（线性回归） +#### 1）前面我们说过，在Greenplum中使用MADlib插件可以直接在DW中建立机器学习模型。这里我们用二）中的regression表跑一下线性回归算法。请使用psql或者psycopg2登录数仓，并运行如下命令。 -#### 3）在表中插入一些数据。在刚才建表的窗口执行以下SQL语句。 ``` -INSERT INTO shops -VALUES -(1,'StarBucks','T1-203','2020-03-01'), -(2,'7-Eleven','T2-311','2020-05-22'), -(3,'Apple Store','T1-215','2020-06-14'), -(4,'Huawei Mobile','T3-222','2020-10-28'); +SELECT madlib.linregr_train ( + 'regression', -- source table + 'regression_model', -- output model table + 'y', -- dependent variable + 'ARRAY[1, x1, x2]' -- independent variables +); ``` -``` -INSERT INTO flights -VALUES -('MU567','China Eastern','Shanghai','Singapore','2020-03-01 14:20','A52'), -('CA7209','Air China','Shanghai','San Francisco','2020-05-22 13:45','B12'), -('JL872','JAPAN AIRLINES','Shanghai','Tokyo','2020-09-15 09:00','A33'); -``` +> 这里我们看到使用了MADlib的线性回归模型linregr_train来对regression表中的数据进行训练，模型输入变量为x1, x2以及偏置项，输出变量为y。训练好的模型保存在regression_model表中。 -> 看到类似如下页面，说明插入成功！ - - - - - -#### 4）看看我们的表中现在有什么吧 :yum: -``` -SELECT * FROM shops; -``` +> 让我们看下模型表中有什么 ``` -SELECT * FROM flights; +SELECT * FROM regression_model; ``` +> 可能输出比较乱，你可以运行以下命令，让表的结果竖起来。 -## `**************作业3：请将执行 SELECT * FROM flights 语句后的页面截图，并插入实验报告***************` - - -### 三）使用Wordpress和MySQL数据库创建个人博客 - -> WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。WordPress具有插件架构和模板系统。截至2018年4月，排名前1000万的网站中超过30.6%使用WordPress。WordPress是最受欢迎的网站内容管理系统。全球有大约30%的网站(7亿5000个)都是使用WordPress架设网站的。(来源：[Wikipedia](https://zh.wikipedia.org/wiki/WordPress)) - -#### 1）启动docker服务，并从公共库pull wordpress的镜像 ``` -sudo docker pull wordpress -``` -> root账户不需要加sudo，普通账户使用sudo权限操作docker前，需将username加入到docker组，例如 `sudo usermod -aG docker luxuesong` - -> 忘记如何安装启动docker的同学请参考[实验二](http://106.75.225.141/xuesong/cloud-computing-course/blob/master/Assignment2.md)。 - -> 你也可以登录ucloud镜像库并下载wordpress镜像，速度会快很多 - +\x +SELECT * FROM regression_model; ``` -sudo docker pull cloud_computing/wordpress -``` - - - - - -#### 2）运行wordpress的docker镜像，并将container的80和433端口暴露给云主机 -``` -sudo docker run --rm -d -p 80:80 -p 443:443 --name myWordpress -e WORDPRESS_DB_HOST=10.23.243.194:3306 -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=mysql123 wordpress -``` - -> 回顾docker run语法，--rm container停止运行时自动删除，-d 以Detached模式运行container，-p 80:80 将container的80端口映射到云主机的80端口，--name为container取名(myWordpress)，最后一个wordpress是镜像名。 - -> 这里遇到一个新的option -e，表示设置container的环境变量。因为我们要让wordpress网站连接MySQL数据库，所以要为container设置数据库相关的环境变量。 - -> WORDPRESS_DB_HOST是要连接的数据库ip和端口，WORDPRESS_DB_USER是数据库登录名，WORDPRESS_DB_PASSWORD是登陆密码，请设置为你的数据库信息。 - - - - - -#### 3）个人博客已经运行，快去看看吧，http://你的云主机ip地址 - -> 首次登录需要配置一下 - - - - - - - - -> 登录后进入dashboard，可以对你的博客网站进行定制。点击左上角你设定的网站名，可以进入博客主页（哇。。。界面属实有点拉垮）。 - - - - - - - - - -> 让我们换个主题场景，点击左上角dashboard，进入Appearance->Themes，选择Twenty Seventeen，并点击Activate，重新进入博客看看 - - - - - - - - -#### 4）让我们回过头看看数据库里面的变化 - - - - - -> wordpress自动创建了一个数据库，并添加了若干数据表，存储博客网站的数据 - -#### 5）最后，让我们写一个简单的博客吧 - - - - - - - - - - - - +> 这样是不是顺眼多了 :bowtie: :bowtie: :bowtie: 我们看到了线性回归模型的参数以及标准差，p-value等指标的值 ## `**************作业4：请任意写一个博客并发布（除了“什么是云计算”），截图博客并插入实验报告***************`