# Assignment 5 指南 ## `******注意,实验结束请立即删除云主机和数据仓库,节省费用******` ## `******注意2,实验未结束且短期内不会继续实验,也请删除云主机和数据仓库。下次实验时重新创建******` ## 实验内容 - 创建Greenplum数据仓库实例: `实验步骤 一)` - 登录数据仓库:`实验步骤 二)` - 练习建表、插入、查找等基本操作:`实验步骤 三)` - 使用MADlib完成简单的机器学习任务: `实验步骤 四)` ## 实验要求(仔细看) - 完成所有步骤,并在实验报告([模板下载](file/assignment4/学号-实验四.docx))中完成穿插在本指南中的作业1~作业4(只需要截图)。实验报告转成“学号-实验四.pdf”,并上传至http://113.31.104.68:3389/index.htm - 实验报告上传deadline: `11月6日` ## 使用UCloud产品 云数据仓库UDW、云主机uhost、私有网络vpc、基础网络unet ## 需要权限 云数据仓库UDW、云主机uhost、基础网络unet ## 基础知识(本实验详细知识会在数据仓库相关课程中学习,这里我们仅简单熟悉一下相关操作,你也可以去Google上Baidu一下相关知识 :ghost: :ghost: :ghost:) `数据仓库:` data warehouse(缩写DW),是用于报告和数据分析的数据管理系统。 `和SQL数据库的区别:` 传统的关系型数据库(如实验四中的MySQL)主要应用于基本的、日常的事务处理(Transaction Processing),例如银行交易,淘宝购物,订购车票等。而数据仓库系统主要应用于生产数据的整理和分析(Analytical Processing),通过扩展数据分析和可视化等工具,支持业务决策,例如流量分析、用户画像、统计建模等。 举个简单例子,淘宝前端(网页端、app端)每天的交易事务,都是用关系型数据库支持的。而每天的交易数据,会定时导入到后端的数据仓库(俗称ETL,Extract, Transform, Load),并根据特定业务逻辑重新整理,从而方便后端各个团队分析数据和做出业务决策。 `UDW云数据仓库:` 是UCloud的DW产品,基于开源软件Greenplum(底层为PostgreSQL数据库)开发的大规模并发、完全托管的PB级数据仓库服务。支持MADlib、PostGIS等扩展工具,可以方便地支持机器学习、空间地理位置应用等数据分析任务。 `MADlib:` MADlib提供了一套基于SQL的机器学习、数据挖掘和统计算法,可以在数据库引擎内大规模运行。在Greenplum中安装了MADlib插件以后,可以直接在数据仓库内进行复杂计算和数据建模等工作。 闲话少说,我们开始创建一个UDW玩玩。:ghost: :ghost: :ghost: ## 实验步骤 ### 一)创建Greenplum数据仓库实例 #### 1)在产品中选择云数据仓库UDW,然后点击新建数据仓库 #### 2)使用默认配置,2个节点。将子网改成"DefaultNetwork",记住DB名称,端口,管理员用户名,设置管理员密码。选择按时付费,立即购买。 #### 3)支付之后,数仓创建时间从几分钟到十几分钟不等,等状态显示“运行中”,则创建完毕。记住数仓的IP地址。 ### 二)登录数据仓库。Greenplum数据仓库的登录有很多方式,比如用PostgreSQL客户端登录,用Greenplum客户端登录,用JDBC(在Java中使用)或者ODBC(在C/C++中使用)访问,用psycopg2(在Python中使用)访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。 #### 1)使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机,选择按流量计费,20M带宽,云主机按小时付费。登录以后运行以下命令,安装PostgreSQL客户端psql。 #### 2)使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库,比如用Python读取DW中的数据,然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。 ``` sudo yum install python3-devel -y sudo yum install postgresql-libs -y sudo yum install postgresql-devel -y sudo yum install gcc -y pip3 install --user psycopg2 ``` ##### 1.1)安装完毕后运行python3,然后import psycopg2,若没有报错,则说明psycopg2安装成功。 ##### 1.2)quit()退出python3命令行,让我们运行几个Python代码来实现建表,插入,查询等操作。 > 建立createTable.py文件,并复制如下代码。其中username,password,hostIP,port都要替换成你的数据仓库参数。 ``` import psycopg2 conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") cur = conn.cursor() cur.execute('CREATE TABLE COMPANY (ID INT PRIMARY KEY NOT NULL,\ NAME TEXT NOT NULL,\ AGE INT NOT NULL,\ ADDRESS CHAR(10),\ SALARY REAL);') conn.commit() conn.close() ``` > 运行createTable.py,如果没有报错,则说明建表成功。 ``` python3 createTable.py ``` > 向COMPANY表中添加一些记录。建立insertTable.py文件,复制如下代码并运行。 ``` import psycopg2 conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") cur = conn.cursor() cur.execute("INSERT INTO COMPANY VALUES (1, 'Paul', 32, 'California', 20000.00 )"); cur.execute("INSERT INTO COMPANY VALUES (2, 'Allen', 25, 'Texas', 15000.00 )"); cur.execute("INSERT INTO COMPANY VALUES (3, 'Eric', 35, 'Florida', 25000.00 )"); conn.commit() conn.close() ``` > 让我们查询一下刚刚建的表。建立selectTable.py文件,复制如下代码并运行。 ``` import psycopg2 conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") cur = conn.cursor() cur.execute("SELECT id, name, address, salary from COMPANY order by id") rows = cur.fetchall() print ("ID NAME ADDRESS SALARY") for row in rows: print (row[0], "\t", row[1], "\t", row[2], "\t", row[3]) conn.close() ``` > 你应该会看到如下输出。 ## `**************作业3:请将运行selectTable.py的命令和输出结果截图,并插入实验报告***************` ##### 方法一:通过phpMyAdmin网页登录 ## `**************作业1:请将通过phpMyAdmin登录数据库的主页截图,并插入实验报告***************` ##### 方法二:通过云主机MySQL客户端,使用ip和端口登录(还记得怎么创建云主机吗 :dog:) a)在云主机上安装MySQL客户端(root登录不需要加sudo) ``` sudo yum -y install mysql ``` b)登录刚刚创建的数据库。其中,h表示host,即数据库的ip地址;P表示端口,数据库使用默认端口可省略;u表示登录数据库的username;p表示该username的登录密码 ``` mysql -h$IP -P$Port -u$User -p$Password ``` ## `**************作业2:请将通过MySQL客户端登录数据库的画面截图(包含命令),并插入实验报告***************` ### 二)创建用户数据库,并建表(注:之前说的数据库是指数据库系统,这里说的数据库是指真正存储数据的逻辑库) #### 1)创建一个airport数据库 #### 2)让我们创建数据表shops和flights #### 3)在表中插入一些数据。在刚才建表的窗口执行以下SQL语句。 ``` INSERT INTO shops VALUES (1,'StarBucks','T1-203','2020-03-01'), (2,'7-Eleven','T2-311','2020-05-22'), (3,'Apple Store','T1-215','2020-06-14'), (4,'Huawei Mobile','T3-222','2020-10-28'); ``` ``` INSERT INTO flights VALUES ('MU567','China Eastern','Shanghai','Singapore','2020-03-01 14:20','A52'), ('CA7209','Air China','Shanghai','San Francisco','2020-05-22 13:45','B12'), ('JL872','JAPAN AIRLINES','Shanghai','Tokyo','2020-09-15 09:00','A33'); ``` > 看到类似如下页面,说明插入成功! #### 4)看看我们的表中现在有什么吧 :yum: ``` SELECT * FROM shops; ``` ``` SELECT * FROM flights; ``` ## `**************作业3:请将执行 SELECT * FROM flights 语句后的页面截图,并插入实验报告***************` ### 三)使用Wordpress和MySQL数据库创建个人博客 > WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。WordPress具有插件架构和模板系统。截至2018年4月,排名前1000万的网站中超过30.6%使用WordPress。WordPress是最受欢迎的网站内容管理系统。全球有大约30%的网站(7亿5000个)都是使用WordPress架设网站的。(来源:[Wikipedia](https://zh.wikipedia.org/wiki/WordPress)) #### 1)启动docker服务,并从公共库pull wordpress的镜像 ``` sudo docker pull wordpress ``` > root账户不需要加sudo,普通账户使用sudo权限操作docker前,需将username加入到docker组,例如 `sudo usermod -aG docker luxuesong` > 忘记如何安装启动docker的同学请参考[实验二](http://106.75.225.141/xuesong/cloud-computing-course/blob/master/Assignment2.md)。 > 你也可以登录ucloud镜像库并下载wordpress镜像,速度会快很多 ``` sudo docker pull cloud_computing/wordpress ``` #### 2)运行wordpress的docker镜像,并将container的80和433端口暴露给云主机 ``` sudo docker run --rm -d -p 80:80 -p 443:443 --name myWordpress -e WORDPRESS_DB_HOST=10.23.243.194:3306 -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=mysql123 wordpress ``` > 回顾docker run语法,--rm container停止运行时自动删除,-d 以Detached模式运行container,-p 80:80 将container的80端口映射到云主机的80端口,--name为container取名(myWordpress),最后一个wordpress是镜像名。 > 这里遇到一个新的option -e,表示设置container的环境变量。因为我们要让wordpress网站连接MySQL数据库,所以要为container设置数据库相关的环境变量。 > WORDPRESS_DB_HOST是要连接的数据库ip和端口,WORDPRESS_DB_USER是数据库登录名,WORDPRESS_DB_PASSWORD是登陆密码,请设置为你的数据库信息。 #### 3)个人博客已经运行,快去看看吧,http://你的云主机ip地址 > 首次登录需要配置一下 > 登录后进入dashboard,可以对你的博客网站进行定制。点击左上角你设定的网站名,可以进入博客主页(哇。。。界面属实有点拉垮)。 > 让我们换个主题场景,点击左上角dashboard,进入Appearance->Themes,选择Twenty Seventeen,并点击Activate,重新进入博客看看 #### 4)让我们回过头看看数据库里面的变化 > wordpress自动创建了一个数据库,并添加了若干数据表,存储博客网站的数据 #### 5)最后,让我们写一个简单的博客吧 ## `**************作业4:请任意写一个博客并发布(除了“什么是云计算”),截图博客并插入实验报告***************`