编 号:03 姓 名:王梅
年 级:2015 专 业:信息管理与信息系统
学 历:大学本科
一、初识数据清洗
刚开始听说老师要找一些同学进行数据清洗工作的时候,第一反应是好奇,开始只知道是要对数以亿计的组学药学数据进行清洗,一半自动完成,而另一半必须人工完成,但数据是怎样获得的,怎样进行数据清洗,清洗过后的数据要用来干什么等,想报名但又害怕自己干不了,但是好奇心驱使,又想学到一些新的东西,我加入了数据清洗大队。
二、安装数据清洗工具
研究生学长先给大家讲解了数据清洗的大概操作流程,需要注意的一些问题等,并给大家现场演示了数据清洗需要配置的电脑环境,具体操作过程。接下来便是安装的过程,在学长的指导下,一步步的安装软件,但也出现了很多问题,自己也不懂是什么原因导致的问题,只能寻求学长的帮助。不过,在学长的帮助下,安装好了。在这过程中,学会了如何配置电脑环境,也知道了安装软件也有很多的注意事项,而不只是简单的点击下一步这么简单。
三、开始清洗工作
拷贝了代码,领取了自己的数据,学长也详细讲解了如何操作,便开始了工作。刚开始觉得其实很简单,用老师编写的代码,利用“0”和“1”就能把不符合的筛选出来,符合的自动保存在文件夹中,没有几天的时间,第一次领取的数据就清洗完了,交给了学长,也没有出现问题。然后又领取了新的数据,清洗过程很顺利,但是交的时候就出现了问题,原来之前交的时候学长直接剪切了那个存取正确数据的文件夹,需要我重新建一个,而我直接忽略了这一步,正确的数据没有保存下来,导致第二次的数据清洗过程全部得重新开始,也就浪费了很多时间。这也说明做事情的中一点也不能马虎,每一步都得考虑到,不然就会导致前功尽弃。
四、结束总结
在这次数据清洗过程中,初步接触了python软件,也使我对python有了强大的兴趣,在工作结束后,也用课余时间学习了python基础知识,也逐渐了解到了python工具的强大之处。在大四的找工作面试过程中,和面试经理聊到了这次数据清洗过程,也很感谢此次经历顺利的帮助我通过了面试。