关于chatgpt辅助的消融实验 #2
Description
在视频中提到，本地模型训练得出第一轮信息，压缩后给chat4利用泛化信息判断。
但我个人对于泛化信息能否帮助模型进行进一步筛选存在疑惑，理由是本地模型在见过本地获取数据后具有更加专业的能力，而chat所用的训练数据可能没有包括这部分的中文语料，导致本地模型在专有任务上表现能力更强。
具体的做法是仅使用本地模型输出有限个主题并直接作为结果。或者请问作者是否观测过chat是否在排除低效主题发挥作用。
总之感谢作者的知识和代码分享，让我获益颇丰。