Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
论文阅读
2022.10.17_Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
用于对话中情绪识别的监督原型对比学习
主要点
- 提出了一个针对ERC任务的监督原型对比学习（SPCL）损失。
- 通过对比学习解决不平衡分类问题，同时不需要大批量.
- 设计基于类间距离的难度度量函数，引入课程学习，缓解极端样本的影响。
主要贡献
- 针对ERC任务，提出了一种监督原型对比学习（SPCL）损失算法，该算法能够在分类器平衡的数据上高效地进行监督对比学习，且无需大批量的训练。
- 据我们所知，我们是第一个将有监督的对比学习和课程学习结合起来进行ERC任务的机构。
- 我们在三个广泛使用的基准测试中取得了最先进的结果。实验结果验证了本文提出的SPCL损失和课程学习策略的有效性。
训练策略
基于抽样的方法构建从简单到难的子集
设R为训练周期，在k个周期训练模型
数据集
复现及其出现的问题
复现过程
克隆项目命令
git clone https://github/caskcsg/SPCL
配置文件
pip install -r requirements
运行
python train.py -tr -wp 128 -epochs 16 -temp 0.05 -tsk meld -psz 256 -ssz 64 -train_obj spcl -cl -seed 2333
连接云服务器
填写SSH密码复制不进去
autodl连接vscode，连接时填写密码：vscode填写ssh密码时，密码复制不进去，当时以为vscode出问题了，搜了好久，发现直接输入密码然后回车即可。（emm觉得自己好傻T_T)
运行时出错
错误：ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.
又搜了好久，发现模型要下载到本地，之后上传到云服务器
下载模型地址：https://hf-mirror/princeton-nlp/sup-simcse-roberta-large
尽量全下载下来模型文件！（不要图省事，之后只会更费事T_T)
一开始看好多博客只下载了其中几个文件，然后运行过程中不断报错。
之后怀疑是路径问题，尝试定位目录位置，其中Bert/sup-simcse-roberta-large为存储模型的地址，
结果出现以下错误：TypeError: expected str, bytes or os.PathLike object, not NoneType，
在尝试过程中一开始以为是model_path = os.path.join(‘Bert’, ‘sup-simcse-roberta-large’)出错。
确定了该目录存在且为正确目录，之后通过调试发现问题出现在AutoTokenizer.from_pretrained(os.path.abspath(model_path), local_files_only=True)，
怀疑是不是因为模型没下载完整，结果果然！
之后顺利运行！ （第一次复现成功，太难了T_T，但是成功还是很开心>_<)
复现结果
没有达到论文中的结果，之后可能会再调参试试。😃
发布者：admin，转转请注明出处：http://www.yc00.com/web/1754604897a5181424.html
评论列表（0条）