|
|
@ -8,9 +8,10 @@ |
|
|
|
|
|
|
|
## 实验内容 |
|
|
|
|
|
|
|
- 创建MySQL数据库实例并登录: `实验步骤 一)` |
|
|
|
- 创建数据库表:`实验步骤 二)` |
|
|
|
- 使用Wordpress和MySQL创建个人博客: `实验步骤 三)` |
|
|
|
- 创建Greenplum数据仓库实例: `实验步骤 一)` |
|
|
|
- 登录数据仓库:`实验步骤 二)` |
|
|
|
- 练习建表、查找、删表等基本操作:`实验步骤 三)` |
|
|
|
- 使用MADlib完成简单的机器学习任务: `实验步骤 四)` |
|
|
|
|
|
|
|
## 实验要求(仔细看) |
|
|
|
|
|
|
@ -42,11 +43,14 @@ |
|
|
|
|
|
|
|
`UDW云数据仓库:` 是UCloud的DW产品,基于开源软件Greenplum(底层为PostgreSQL数据库)开发的大规模并发、完全托管的PB级数据仓库服务。支持MADlib、PostGIS等扩展工具,可以方便地支持机器学习、空间地理位置应用等数据分析任务。 |
|
|
|
|
|
|
|
`MADlib:` MADlib提供了一套基于SQL的机器学习、数据挖掘和统计算法,可以在数据库引擎内大规模运行。在Greenplum中安装了MADlib插件以后,可以直接在数据仓库内进行复杂计算和数据建模等工作。 |
|
|
|
|
|
|
|
|
|
|
|
闲话少说,我们开始创建一个UDW玩玩。:ghost: :ghost: :ghost: |
|
|
|
|
|
|
|
## 实验步骤 |
|
|
|
|
|
|
|
### 一)创建Greenplum数据仓库实例并登录 |
|
|
|
### 一)创建Greenplum数据仓库实例 |
|
|
|
|
|
|
|
#### 1)在产品中选择云数据仓库UDW,然后点击新建数据仓库 |
|
|
|
<kbd> |
|
|
@ -71,12 +75,72 @@ |
|
|
|
<img src="img/assignment5/ass5-created.jpg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
#### 4)登录数据仓库。Greenplum数据仓库的登录有很多方式,比如用PostgreSQL客户端登录,用Greenplum客户端登录,用JDBC(在Java中使用)或者ODBC(在C/C++中使用)访问,用psycopg2(在Python中使用)访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。 |
|
|
|
### 二)登录数据仓库。Greenplum数据仓库的登录有很多方式,比如用PostgreSQL客户端登录,用Greenplum客户端登录,用JDBC(在Java中使用)或者ODBC(在C/C++中使用)访问,用psycopg2(在Python中使用)访问。本实验我们完成PostgreSQL客户端和psycopg2两种方式。其余方式同学们以后可以自行尝试。 |
|
|
|
|
|
|
|
#### 1)使用PostgreSQL客户端登录。创建一个最低配置的Centos云主机,选择按流量计费,20M带宽,云主机按小时付费。登录以后运行以下命令,安装PostgreSQL客户端psql。 |
|
|
|
|
|
|
|
|
|
|
|
#### 2)使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库,比如用Python读取DW中的数据,然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。 |
|
|
|
``` |
|
|
|
sudo yum install python3-devel -y |
|
|
|
sudo yum install postgresql-libs -y |
|
|
|
sudo yum install postgresql-devel -y |
|
|
|
sudo yum install gcc -y |
|
|
|
pip3 install --user psycopg2 |
|
|
|
``` |
|
|
|
|
|
|
|
##### 1.1)安装完毕后运行python3,然后import psycopg2,若没有报错,则说明psycopg2安装成功。 |
|
|
|
<kbd> |
|
|
|
<img src="img/assignment4/mysqlconf.png"> |
|
|
|
<img src="img/assignment5/ass5-pylog.jpg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
##### 1.2)quit()退出python3命令行,让我们运行几个Python代码来实现建表,插值,查询等操作。 |
|
|
|
|
|
|
|
> 建立createTable.py文件,并复制如下代码。其中username,password,hostIP,port都要替换成你的数据仓库参数。 |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute('CREATE TABLE COMPANY (ID INT PRIMARY KEY NOT NULL,\ |
|
|
|
NAME TEXT NOT NULL,\ |
|
|
|
AGE INT NOT NULL,\ |
|
|
|
ADDRESS CHAR(10),\ |
|
|
|
SALARY REAL);') |
|
|
|
conn.commit() |
|
|
|
conn.close() |
|
|
|
``` |
|
|
|
|
|
|
|
> 运行createTable.py,如果没有报错,则说明建表成功。 |
|
|
|
``` |
|
|
|
python3 createTable.py |
|
|
|
``` |
|
|
|
|
|
|
|
> 向COMPANY表中添加一些记录。建立insertTable.py文件,复制如下代码并运行。 |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (1, 'Paul', 32, 'California', 20000.00 )"); |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (2, 'Allen', 25, 'Texas', 15000.00 )"); |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (3, 'Eric', 35, 'Florida', 25000.00 )"); |
|
|
|
conn.commit() |
|
|
|
conn.close() |
|
|
|
``` |
|
|
|
|
|
|
|
> 让我们查询一下刚刚建的表。建立selectTable.py文件,复制如下代码并运行。 |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute("SELECT id, name, address, salary from COMPANY order by id") |
|
|
|
rows = cur.fetchall() |
|
|
|
print ("ID\tNAME\tADDRESS\tSALARY") |
|
|
|
for row in rows: |
|
|
|
print (row[0], "\t", row[1], "\t", row[2], "\t", row[3]) |
|
|
|
conn.close() |
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment4/mysqlins.jpeg"> |
|
|
|
</kbd> |
|
|
|