于1927年11月在上海建立的中央特科，在周恩来的直接领导下，不到两年，就已利用各种关系渗透到上海租界巡捕房国民党上海市政府公安局、上海淞沪警备司令部、南京各国驻华使馆等要害部门，截获了大量国民党核心机密，成绩显著。
陈云，上海青浦人，贫苦农民家庭出身，从小父母双亡，由当裁缝的舅舅抚养长大。因家贫，高小毕业后就到商务印书馆学生意。1925 年参加五卅运动，后来加入中国共产党，开始作为劳工组织者从事党的活动。在果断处理了顾顺章案件后，中共中央迅速决定，由周恩来、陈云、康生、潘汉年等重新组成中央特科领导班子。但是祸不单行。当年6月21日，又发生了中共中央总书记向忠发因擅自在外过夜而被捕的突发事件。向忠发很快叛变并供出周恩来在小沙渡路（今西康路）的地址。虽然周恩来及时撤出，但在上海很难继续立足。不得已，中共中央决定停止周恩来在上海的工作。陈云就是在如此危难的关头挑起了重建中央特科的重任。那时，他只有26岁。
陈云纪念馆里的少年陈云照
在白色恐怖期间，国民党军警宪特机关到处抓捕革命者，尤其是中统直接指挥的上海特别市党部组织部，更是作恶多端。陈云和潘汉年认为，对于这么一个对我党危害极大的谍报组织，最好的对付办法就是派人打人内部。但由于敌人防范甚严未能奏效。于是陈云和潘汉年又考虑能否从敌人内部找到为我党所用之人。通过一番调查，选中了一个叫沈寿亚的。大革命时，沈寿亚曾经加人过共产党。但当革命处于低潮后，沈寿亚吃不起苦，脱离了党组织，跑到上海在中统找了一份工作。但中统看不起沈寿亚，不让他接触机密。潘汉年得知这一情况后，觉得可以从沈寿亚那里打开缺口。陈云同意潘汉年的大胆想法，认为沈寿亚本质不坏，尽管已经脱党，但还与党组织保持联系，并不是死心塌地为反动派服务的，能够争取。
1932年5月，沈寿亚向潘汉年报告，中华全国总工会常委兼海员工会总书记张浩的妻弟叛变，供出了张浩的职务和地址；且利用和张浩的亲戚关系，了解全总其他人员的情况，准备将他们一网打尽。这时陈云已调任全总党团书记，潘汉年马上将这一重要情报向陈云汇报。陈云当即安排张浩迅速转移，暂停一切对外活动，断绝和外界的联系；同时提醒全总其他人员也要提高警惕，防止敌特破坏。正是由于沈寿亚及时密报，才令张浩幸免于难。后来，张浩从共产国际回到陕北，在与张国焘分裂党分裂红军的斗争中做出了重要的贡献。