8.8 KiB
水杉天梯——助教使用手册
本手册主要展示了助教创建一个作业，上传作业需要的评测文件，上传作业需要的数 据集的具体流程，以及如何修改上传的数据集和编辑已创建作业。手册中针对多阶段 的文件结果提交给出了命名规范，规定了模板文件中的打包函数。
一、创建作业
作业描述部分
该部分将详细介绍表单中每个字段的含义，以及应该如何填写。
作业名称——中文名：对应作业名。
作业名称——英文名：提交表单后生成的zip压缩包名称。
图标:如不上传，将使用默认的logo作为作业logo。（仅支持常用图片格式）
Web Page部分
概述，数据描述，评估，限制条件使用的是富文本编辑器，可以对文本框中的内容进行加粗，斜体，调整字体大小，上色等操作。
这些文本框的内容将会以html的形式展现在生成的作业界面上。对应关系为：
概述对应——Overview；评估对应——Evaluation;限制条件对应——Terms and Condictions；数据描述对应——Get Data。下图用红框圈出。
多阶段部分
设置了多阶段机制，允许一次作业分多个阶段提交。
(解释：多个阶段可以理解为一次作业的两个部分，例如实现svm/决策树分别完成同一个分类任务，将会对应两个leaderboard)
每日最高提交数：该作业允许每日最高的提交数。
最高提交数：该作业开始到结束期间允许的提交数之和。
阶段数量：填写该作业分为几个阶段。填写完以后点击确认，会自动生成相应数量的阶段填写框。
点击确认后，会出现对应数量的阶段内容框，每个阶段需要填写：
代码评测文件：.py格式，助教自定义填写，如需参考可点击超链接。
作业的参考预测文件：助教上传用于评测的正确结果文件。
每个阶段的开始时间：当前阶段学生可以提交文件的开始时间。
生成的作业将会分为多个阶段。点击每个阶段，可以提交对应阶段需要上传的文件。
对于评测示例文件的补充说明：
文件定位：若交由本系统进行评测，该段代码无需改动。若在本地测试，则直接修改路径即可。
文件读取：需要读取学生结果(prediction.txt)和参考结果(true.txt)，注意学生结果文件的命名应要求学生固定命名(可在Jupyter模板文件中写好)，参考结果文件命名在作业创建中上传的文件名一致。
两个文件里的数据内容格式应保持一致，通过修改自定义的read_txt函数来读取不同的格式。
结果评测：编写自定义的calculate_metric函数以满足不同的指标评测。（如果需要得到多个指标的结果，可自行丰富，得到多个score），以下为计算准确率的示例。
结果输出：输出文件要求写入规定名为(scores.txt)的文件，不能修改。输出文件的每一行代表对应的一个指标的分数结果，指标名、和小数点位数应与作业创建leaderboard处的填写内容一致。
请助教在写完Evaluate.py后先在本地试运行，输出文件结果无误后再进行上传！
排行榜部分
评估指标个数：填写作业提交的评估指标个数，有的作业可能需要不只一个评估指标。填写评估指标个数将生成下图所示的指标框。
评估标签：填写评估标签名，如ACC,Precision,Recall等。
数据格式：保留几位小数。
排序：指标排序是升序还是降序。只能填asc或desc。
其他
作业权限：选择作业参与是否需要助教同意。如选择是，则参与作业需要助教后台审批，如选择否，则申请参与作业后自动通过请求。
开始时间，截至时间：填写作业开始和结束的时间。
点击生成zip文件，将生成一个zip压缩包，点击上图中蓝色超链接生成压缩包。（表单中除了图标可以不填，其余所有均为必填选项。）
下载得到压缩包以后，点击上传zip文件，将生成一个新的作业。（压缩包文件名不能含中文，空格等。）
上传成功后，可以点击蓝色view超链接，查看具体作业信息。
编辑作业
如果需要编辑，在作业详情界面中点击选项——编辑。
备注：编辑页面表单数量较多，此处只挑选助教有可能修改的部分做详细讲述，如需更深层次的编辑，请参考
https://github.com/codalab/codalab-competitions/wiki/Organizer_Codalab-competition-YAML-definition-language
修改字段内容。
作业描述部分
参考第一部分创建作业的作业描述部分。
Title对应——作业的中文名。
Description对应——描述。
Web Page部分
编辑Web Pages，对应关系如一中Web Pages部分。
多阶段部分
Start Date(UTC)：修改每个phase的开始时间。
Maximum Submissions(per User)：修改作业最多允许的提交数之和。
Max Submissions(per User) per day：修改作业每人每天最多允许的提交数。
排行榜部分
Key Label必须相同，对应——评估标签。
Numberic format对应——数据格式。
Sorting对应——排序
其他
Organizers need to approve the new teams对应——第一部分中的作业权限。
Anonymous leaderboard——排行榜用户名是否匿名
Disallow leaderboard modifying——提交是否可以被修改
Force submission to leaderboard——学生是否需要人工提交结果
Registration Required——学生是否需要经过助教同意才能参与作业
如果提交的结果比过去成绩好，则自动将当前结果提交到排行榜
上传数据集
点击上传数据集按钮打开面板
点击选择文件选择数据集压缩包，然后点击提交按钮进行提交。
提交按钮下方会显示上传进度，提交完成后会有对话框提示完成。
数据集格式说明：
文件中需要包含input文件夹，其中放置数据集，可以有一个模板性的notebook文件
参考格式如下：
需要注意的是，压缩时需要选中这一级目录下所有文件及文件夹进行压缩，而不是对上一级目录进行压缩
上传后，学生视角的目录如下图所示：
其中read_only_sample文件为只读文件，作为备份
多阶段提交需要注意，需要额外加一个output文件夹，该目录下的结构如下图所示：
有几个阶段就添加多少个phase_x文件夹。phase_x文件夹用于保存学生对应第x阶段代码输出结果。
四、重置数据集
点击重置Jupyter按钮，可以将该作业对应的notebook删除，学生打开notebook时会以最新上传的数据集作为模板。
使用情形：上传数据集有误需要更新时，已有学生打开了notebook，重新上传数据集不会更新已打开notebook的文件，需要点击该按钮解决。
五、下载学生代码
点击学生代码按钮即可下载
可以下载所有学生的代码，学生文件以学号命名
学生编写的notebook文件或py文件都会在对应目录下。
六、模板notebook文件说明
模板文件中包含三块内容： 1.具体题目的程序逻辑
2.输出程序，output_string存储程序输出结果， phase_id为阶段id，每个阶段的程序输出分开存放
3.打包程序
需要改变的主要是第一部分，后两部分为固定代码，使学生按照系统规定地输出结果和打包结果。
点击submit按钮可以将prediction_phase_1.zip提交到phase1的排行榜中。