对数据科学实验的思考

从本周的一位同学的分享开始

他分享的是一系列特征有关的实验,末尾是QA环节,实验质量(实验方式,实验结果的分析)被多个角度质疑,显而易见,他的实验结果大家很难认可了。无论是他个人的时间花费,还是这次分享的质量,都有些苍白。

最近某项目小组,在一个调优目标上,多位同学参与,短时间内也做了大量的实验,从结果来看,无一显著性的提升。其实我的内心也有在怀疑小伙伴们实验做的很仓促(所以很粗糙),写的代码有bug么?上传到评分版的数据有传错么?实验结论难道仅仅只看最终的一个准确率指标比大小?有没有看稍微更详细的一点的实验结果?新加的改动,对重要的预测条目有什么影响?有的实验结果是准确率上升了,按理说应该很高兴,但是我也会问一下有从哪几个角度看一下数据泄露的可能性没?

实验结果最好不要只有最后一个准确率的数字,应该从一个准确率的数字,下钻到更多的细节,有更多的观察,然后给出进一步的分析结论,进而给出进一步想探索的实验思路。

  • 实验的分析链条上,尽量的严密,逻辑要清晰,连贯,自洽。不要随意猜。
  • 分析思路枯竭了,再开始猜,可以先有猜想,然后看数字来证明到自己的猜想是对还是错。

大家在学生阶段的课上应该都学过基本的实验思路,在动手开始实验之前,要明确实验的变量是什么,哪些是不变的,实验过程你会怎么做,预期实验结果是什么。如果结果和预期一致,那么说明了什么,证明了你的什么想法。如果结果和预期不一致,也请回顾实验过程的各个环节(有没有做错哪里?),每个环节的现象是什么,来间接推理为什么结果和预期不一致。想来,做数据科学的实验,也应该保持小时候做科学实验的初心,好奇,探索,严谨,而不是只交出一个数字。

之前和同事A交流的时候,讨论过需要收集很多很多实验结果,来做meta learning,应是有趣的一条路;目前,我的想法有变,单次实验的质量比大量(不一定准确的)实验结果更加重要。

为了尽量去保证团队中各位同学的实验质量,可以有什么手段呢?手把手指导,言传身教?我也没想清楚。

以上的思考,或许是这此听分享给我带来的最大的价值。