|
|
|
@ -87,6 +87,9 @@ docker run -d --rm -p 80:5000 -name myflask luxuesong/myflaskapp |
|
|
|
<img src="img/assignment6/ass6-addserver.jpeg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
|
|
|
|
## `**************作业1：请将浏览器中通过负载均衡ip访问flask app的界面，以及负载均衡器中服务节点界面截图，并插入实验报告***************` |
|
|
|
|
|
|
|
#### 5）此时负载均衡器只连接了一个服务实例，等同于单机访问。`为步骤三做准备，请在这一步制作当前云主机的镜像`。 |
|
|
|
|
|
|
|
|
|
|
|
@ -108,171 +111,40 @@ docker run -d --rm -p 80:5000 -name myflask luxuesong/myflaskapp |
|
|
|
<img src="img/assignment6/ass6-intrassh.jpeg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
##### 1.1）安装完毕后运行以下命令登录数据仓库。将相关参数替换成你的数据仓库参数。登录后将看到如下界面（我们已经在dev库中）。 |
|
|
|
``` |
|
|
|
psql -h hostIP –U username -d database -p port |
|
|
|
``` |
|
|
|
|
|
|
|
## `**************作业1：请将登录命令和登录成功界面截图，并插入实验报告***************` |
|
|
|
|
|
|
|
##### 1.2）让我们运行几个SQL代码来实现建表，插入，查询等操作。 |
|
|
|
> 复制以下sql代码，并在psql中运行（注意要包含最后的分号） |
|
|
|
``` |
|
|
|
CREATE TABLE regression ( |
|
|
|
id int, |
|
|
|
y int, |
|
|
|
x1 int, |
|
|
|
x2 int |
|
|
|
); |
|
|
|
``` |
|
|
|
|
|
|
|
> 运行后我们看到如下notice，提示建表时没有使用`DISTRIBUTED BY`语句，因此Greenplum默认使用id作为分布键。这是因为greenplum是一个分布式数仓，数据会分布在不同的节点上，因此建表的时候要用`DISTRIBUTED BY`语句说明按照哪一个属性（即所谓“分布键”）对数据进行划分。由于我们没有指定，系统默认使用了第一列作为分布键。 |
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-notice.jpg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
|
|
|
|
> 接着让我们在regression表中插入一些值 |
|
|
|
``` |
|
|
|
INSERT INTO regression VALUES |
|
|
|
(1, 5, 2, 3), |
|
|
|
(2, 10, 7, 2), |
|
|
|
(3, 6, 4, 1), |
|
|
|
(4, 8, 3, 4); |
|
|
|
``` |
|
|
|
|
|
|
|
> 让我们查询一下regression表中的数据。你应该看到如下输出。 |
|
|
|
``` |
|
|
|
SELECT * FROM regression; |
|
|
|
``` |
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-psgselect.jpg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
##### 1.3）运行\q退出psql客户端。 |
|
|
|
|
|
|
|
## `**************作业2：请如上图一样将regression表的查询命令、输出结果和退出psql以后的界面截图，并插入实验报告***************` |
|
|
|
|
|
|
|
|
|
|
|
#### 2）使用`Python`+`psycopg2`访问。很多时候我们需要在程序中访问数据仓库，比如用Python读取DW中的数据，然后进一步操作。我们可以通过使用`psycopg2`来实现访问。运行以下命令安装`psycopg2`package。 |
|
|
|
``` |
|
|
|
sudo yum install python3-devel -y |
|
|
|
sudo yum install postgresql-libs -y |
|
|
|
sudo yum install postgresql-devel -y |
|
|
|
sudo yum install gcc -y |
|
|
|
pip3 install --user psycopg2 |
|
|
|
``` |
|
|
|
#### 3）现在让我们把这三个云主机连接到负载均衡器，并且从负载均衡器中删除刚才的具有外网ip的节点。接下来我们要用外网ip节点做压测。首先我们禁用掉其中的两个节点，只保留一个节点在启用状态。如下图所示。 |
|
|
|
|
|
|
|
##### 2.1）安装完毕后运行python3，然后import psycopg2，若没有报错，则说明psycopg2安装成功。 |
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-pylog.jpg"> |
|
|
|
<img src="img/assignment6/ass6-3s.jpeg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
##### 2.2）quit()退出python3命令行，让我们运行几个Python代码来实现建表，插入，查询等操作。 |
|
|
|
## `**************作业2：请将连接到负载均衡的服务器节点截图，并插入实验报告***************` |
|
|
|
|
|
|
|
> 建立createTable.py文件，并复制如下代码。其中username，password，hostIP，port都要替换成你的数据仓库参数。 |
|
|
|
#### 4）登录具有外网ip的云主机，安装ApacheBench |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute('CREATE TABLE COMPANY (ID INT PRIMARY KEY NOT NULL,\ |
|
|
|
NAME TEXT NOT NULL,\ |
|
|
|
AGE INT NOT NULL,\ |
|
|
|
ADDRESS CHAR(10),\ |
|
|
|
SALARY REAL);') |
|
|
|
conn.commit() |
|
|
|
conn.close() |
|
|
|
sudo yum -y install httpd |
|
|
|
``` |
|
|
|
|
|
|
|
> 运行createTable.py，如果没有报错，则说明建表成功。 |
|
|
|
#### 5）运行压测命令。`-c`表示并发数，即同时发生的请求数，`-n`表示请求总数，`http://106.75.216.169/`替换成你的负载均衡器ip。所以这里对我们的flask app并发1000个请求，总共发出10000个请求。结果如下图所示。 |
|
|
|
``` |
|
|
|
python3 createTable.py |
|
|
|
ab -c 1000 -n 10000 http://106.75.216.169/ |
|
|
|
``` |
|
|
|
|
|
|
|
> 向COMPANY表中添加一些记录。建立insertTable.py文件，复制如下代码并运行。 |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (1, 'Paul', 32, 'California', 20000.00 )"); |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (2, 'Allen', 25, 'Texas', 15000.00 )"); |
|
|
|
cur.execute("INSERT INTO COMPANY VALUES (3, 'Eric', 35, 'Florida', 25000.00 )"); |
|
|
|
conn.commit() |
|
|
|
conn.close() |
|
|
|
``` |
|
|
|
|
|
|
|
> 让我们查询一下刚刚建的表。建立selectTable.py文件，复制如下代码并运行。 |
|
|
|
``` |
|
|
|
import psycopg2 |
|
|
|
conn = psycopg2.connect(database="dev", user="username", password="password", host="hostIP", port="port") |
|
|
|
cur = conn.cursor() |
|
|
|
cur.execute("SELECT id, name, address, salary from COMPANY order by id") |
|
|
|
rows = cur.fetchall() |
|
|
|
print ("ID NAME ADDRESS SALARY") |
|
|
|
for row in rows: |
|
|
|
print (row[0], "\t", row[1], "\t", row[2], "\t", row[3]) |
|
|
|
conn.close() |
|
|
|
``` |
|
|
|
|
|
|
|
> 你应该会看到如下输出。 |
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-pyselect.jpg"> |
|
|
|
<img src="img/assignment6/ass6-ab.jpeg"> |
|
|
|
</kbd> |
|
|
|
|
|
|
|
## `**************作业3：请将运行selectTable.py的命令和输出结果截图，并插入实验报告***************` |
|
|
|
|
|
|
|
|
|
|
|
### 三）使用MADlib完成简单的机器学习任务（线性回归） |
|
|
|
|
|
|
|
#### 1）前面我们说过，在Greenplum中使用MADlib插件可以直接在DW中建立机器学习模型。这里我们用二）中的regression表跑一下线性回归算法。请使用psql或者psycopg2登录数仓，并运行如下命令。 |
|
|
|
|
|
|
|
``` |
|
|
|
SELECT madlib.linregr_train ( |
|
|
|
'regression', -- source table |
|
|
|
'regression_model', -- output model table |
|
|
|
'y', -- dependent variable |
|
|
|
'ARRAY[1, x1, x2]' -- independent variables |
|
|
|
); |
|
|
|
``` |
|
|
|
|
|
|
|
> 这里我们看到使用了MADlib的线性回归模型linregr_train来对regression表中的数据进行训练，模型输入变量为x1, x2以及偏置项，输出变量为y。训练好的模型保存在regression_model表中。 |
|
|
|
> 这里我们关注几个重要结果 |
|
|
|
|
|
|
|
### 2）让我们看下模型表中有什么，运行以下命令 |
|
|
|
> 1) Time taken for tests：压测总时间 |
|
|
|
|
|
|
|
``` |
|
|
|
SELECT * FROM regression_model; |
|
|
|
``` |
|
|
|
|
|
|
|
> 可能输出比较乱，你可以运行以下命令，让表的结果竖起来。 |
|
|
|
|
|
|
|
``` |
|
|
|
\x |
|
|
|
|
|
|
|
SELECT * FROM regression_model; |
|
|
|
``` |
|
|
|
> 这样是不是顺眼多了 :ghost: :ghost: :ghost: 我们看到了线性回归模型的参数以及标准差，p-value等指标的值 |
|
|
|
> 2) Requests per second: 平均每秒处理请求数 |
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-model.jpg"> |
|
|
|
</kbd> |
|
|
|
> 3) Time per request: 平均每个请求处理时间 |
|
|
|
|
|
|
|
### 3）最后让我们用这个模型去做预测。我们直接在训练集上进行预测。你会看到如下输出，其中predict是预测结果，observation是原始的y值。 |
|
|
|
``` |
|
|
|
\x |
|
|
|
#### 6）接下来，请逐渐启用第2和第3个服务器节点，然后再运行上面的压测命令。 |
|
|
|
|
|
|
|
SELECT regression.*, |
|
|
|
madlib.linregr_predict ( ARRAY[1, x1, x2], m.coef ) as predict, |
|
|
|
y as observation |
|
|
|
FROM regression, regression_model m; |
|
|
|
``` |
|
|
|
|
|
|
|
<kbd> |
|
|
|
<img src="img/assignment5/ass5-pred.jpg"> |
|
|
|
</kbd> |
|
|
|
## `**************作业3：请将启用一个节点、两个节点、三个节点时的压测结果分别截图，并插入实验报告***************` |
|
|
|
|
|
|
|
### 4）运行\q退出psql客户端。 |
|
|
|
注意，由于有网络因素干扰，每个实验你可以多进行几次压测，得到比较正常的结果再截图。 |
|
|
|
|
|
|
|
## `**************作业4：请如上图一样把预测结果和退出psql以后的界面一起截图，并插入实验报告***************` |
|
|
|
## `**************作业4：假设现在压测结果显示单台机器的Requests per second为30，一天中的请求峰值时间是2个小时，总共需要处理5千万个请求，请问需要至少准备多少台机器才可能平稳度过峰值请求？***************` |
xuesong
pirms 4 gadiem