|
|
@ -1,18 +1,19 @@ |
|
|
|
#水杉天梯——助教使用手册 |
|
|
|
# 水杉天梯——助教使用手册 |
|
|
|
|
|
|
|
本手册主要展示了助教创建一个作业,上传作业需要的评测文件,上传作业需要的数 |
|
|
|
据集的具体流程,以及如何修改上传的数据集和编辑已创建作业。手册中针对多阶段 |
|
|
|
的文件结果提交给出了命名规范,规定了模板文件中的打包函数。 |
|
|
|
|
|
|
|
##一、创建作业 |
|
|
|
## 一、创建作业 |
|
|
|
|
|
|
|
###作业描述部分 |
|
|
|
### 作业描述部分 |
|
|
|
该部分将详细介绍表单中每个字段的含义,以及应该如何填写。 |
|
|
|
 |
|
|
|
**作业名称——中文名**:对应作业名。 |
|
|
|
**作业名称——英文名**:提交表单后生成的**zip压缩包名称**。 |
|
|
|
**图标**:如不上传,将使用默认的logo作为作业logo。(仅支持常用图片格式) |
|
|
|
###Web Page部分 |
|
|
|
|
|
|
|
### Web Page部分 |
|
|
|
 |
|
|
|
 |
|
|
|
**概述,数据描述,评估,限制条件**使用的是富文本编辑器,可以对文本框中的内容进行加粗,斜体,调整字体大小,上色等操作。 |
|
|
@ -21,7 +22,8 @@ |
|
|
|
**概述**对应——**Overview**;**评估**对应——**Evaluation**;**限制条件**对应——**Terms and Condictions**;**数据描述**对应——**Get Data**。下图用红框圈出。 |
|
|
|
 |
|
|
|
 |
|
|
|
###多阶段部分 |
|
|
|
|
|
|
|
### 多阶段部分 |
|
|
|
设置了多阶段机制,允许一次作业分多个阶段提交。 |
|
|
|
**(解释:多个阶段可以理解为一次作业的两个部分,例如实现svm/决策树分别完成同一个分类任务,将会对应两个leaderboard)** |
|
|
|
 |
|
|
@ -53,13 +55,15 @@ |
|
|
|
 |
|
|
|
 |
|
|
|
**请助教在写完Evaluate.py后先在本地试运行,输出文件结果无误后再进行上传!** |
|
|
|
###排行榜部分 |
|
|
|
|
|
|
|
### 排行榜部分 |
|
|
|
 |
|
|
|
**评估指标个数**:填写作业提交的评估指标个数,有的作业可能需要不只一个评估指标。填写评估指标个数将生成下图所示的指标框。 |
|
|
|
**评估标签**:填写评估标签名,如ACC,Precision,Recall等。 |
|
|
|
**数据格式**:保留几位小数。 |
|
|
|
**排序**:指标排序是升序还是降序。只能填**asc或desc**。 |
|
|
|
###其他 |
|
|
|
|
|
|
|
### 其他 |
|
|
|
 |
|
|
|
|
|
|
|
**作业权限**:选择作业参与是否需要助教同意。如选择是,则参与作业需要助教后台审批,如选择否,则申请参与作业后自动通过请求。 |
|
|
@ -69,33 +73,39 @@ |
|
|
|
下载得到压缩包以后,点击上传zip文件,将生成一个新的作业。(**压缩包文件名不能含中文,空格等。**) |
|
|
|
 |
|
|
|
上传成功后,可以点击蓝色view超链接,查看具体作业信息。 |
|
|
|
##编辑作业 |
|
|
|
|
|
|
|
## 编辑作业 |
|
|
|
如果需要编辑,在作业详情界面中点击选项——编辑。 |
|
|
|
 |
|
|
|
备注:编辑页面表单数量较多,此处只挑选助教有可能修改的部分做详细讲述,如需更深层次的编辑,请参考 |
|
|
|
https://github.com/codalab/codalab-competitions/wiki/Organizer_Codalab-competition-YAML-definition-language |
|
|
|
修改字段内容。 |
|
|
|
###作业描述部分 |
|
|
|
|
|
|
|
### 作业描述部分 |
|
|
|
 |
|
|
|
参考第一部分创建作业的作业描述部分。 |
|
|
|
**Title**对应——**作业的中文名**。 |
|
|
|
**Description**对应——**描述**。 |
|
|
|
##Web Page部分 |
|
|
|
|
|
|
|
## Web Page部分 |
|
|
|
 |
|
|
|
|
|
|
|
编辑Web Pages,对应关系如一中Web Pages部分。 |
|
|
|
###多阶段部分 |
|
|
|
|
|
|
|
### 多阶段部分 |
|
|
|
 |
|
|
|
**Start Date(UTC)**:修改每个phase的开始时间。 |
|
|
|
**Maximum Submissions(per User)**:修改作业最多允许的提交数之和。 |
|
|
|
**Max Submissions(per User) per day**:修改作业每人每天最多允许的提交数。 |
|
|
|
###排行榜部分 |
|
|
|
|
|
|
|
### 排行榜部分 |
|
|
|
 |
|
|
|
 |
|
|
|
**Key Label**必须**相同**,对应——**评估标签**。 |
|
|
|
**Numberic format**对应——**数据格式**。 |
|
|
|
**Sorting**对应——**排序** |
|
|
|
###其他 |
|
|
|
|
|
|
|
### 其他 |
|
|
|
 |
|
|
|
**Organizers need to approve the new teams**对应——第一部分中的作业权限。 |
|
|
|
A**nonymous leaderboard**——排行榜用户名是否匿名 |
|
|
@ -107,7 +117,8 @@ A**nonymous leaderboard**——排行榜用户名是否匿名 |
|
|
|
**Registration Required**——学生是否需要经过助教同意才能参与作业 |
|
|
|
 |
|
|
|
如果提交的结果比过去成绩好,则自动将当前结果提交到排行榜 |
|
|
|
##上传数据集 |
|
|
|
|
|
|
|
## 上传数据集 |
|
|
|
点击上传数据集按钮打开面板 |
|
|
|
 |
|
|
|
 |
|
|
@ -126,20 +137,23 @@ A**nonymous leaderboard**——排行榜用户名是否匿名 |
|
|
|
 |
|
|
|
 |
|
|
|
有几个阶段就添加多少个phase_x文件夹。phase_x文件夹用于保存学生对应第x阶段代码输出结果。 |
|
|
|
##四、重置数据集 |
|
|
|
|
|
|
|
## 四、重置数据集 |
|
|
|
点击重置Jupyter按钮,可以将该作业对应的notebook删除,学生打开notebook时会以最新上传的数据集作为模板。 |
|
|
|
 |
|
|
|
使用情形:上传数据集有误需要更新时,已有学生打开了notebook,重新上传数据集不会更新已打开notebook的文件,需要点击该按钮解决。 |
|
|
|
 |
|
|
|
 |
|
|
|
##五、下载学生代码 |
|
|
|
|
|
|
|
## 五、下载学生代码 |
|
|
|
 |
|
|
|
点击学生代码按钮即可下载 |
|
|
|
 |
|
|
|
可以下载所有学生的代码,学生文件以学号命名 |
|
|
|
 |
|
|
|
学生编写的notebook文件或py文件都会在对应目录下。 |
|
|
|
##六、模板notebook文件说明 |
|
|
|
|
|
|
|
## 六、模板notebook文件说明 |
|
|
|
模板文件中包含三块内容: |
|
|
|
1.具体题目的程序逻辑 |
|
|
|
|
|
|
|