1934年,何遂卖掉北平察院胡同住房,在南京普陀路购置西式小洋楼一幢,闹中取静,院落颇宽,随后举家迁往南京。
石头城内,是何遂与陈独秀交往最多之地。
1932年10月,陈独秀因叛徒出卖而被捕,不久被押往南京。这对蒋介石当然是好消息,但是却引来许多人的说情,包括国民党元老蔡元培等,这些他不得不顾及。况且,他们还是有过一段共事的经历,尽管这个过程不是十分愉快。蒋介石对被捕的中共高层领导人,从来没有慈悲之怀,比如对恽代英、瞿秋白等,劝降不成就立即下令枪杀。纵是劝降成功,在没有利用价值的前提下,也是格杀勿论,对中共中央政治局主席向忠发即是如此,而唯独对陈独秀是个例外。
陈独秀是以危害民国罪在南京被提起公诉的。军政部部长何应钦奉蒋介石的旨意,在军政部会客室审讯陈独秀。审讯的气氛比较温和,陈独秀在给高语罕(同盟会元老、辛亥革命功臣、《新青年》主要撰稿人之一、南昌起义主要领导人之一)妻子的信中是这样记述的:“弟在军部受何应钦半谈话、半审问后,许多青年军人纷纷持笔墨和数寸长之小纸条,情意殷殷(充满同情心,毫无敌视表示)令人欣慰,四面包围(长官不能禁止),弟真应接不暇,幸而墨尽,才能解围。”虽然法庭上他重审自己主张推翻国民政府,夺取政权,组织无产阶级政府,据当时媒体报道,抓陈独秀时也在他家“搜出之宣传共产文件书籍尤为汗牛充栋”,但只被判处13年有期徒刑,后又改为8年。自宣判之日起,他便被关押在南京老虎桥监狱(江苏省第一监狱)。他一人独处,住在一个12平方米左右的单间,内有书桌、书架,室外就是一个小天井,可以读书报和写作,可以在会客室与前来探视的亲友聊天。伙食也比其他囚犯好,每餐都有两菜一汤。夫人潘兰珍也被允许前来探视并照料他的生活。
1934年何遂从北京举家迁往南京后,常到老虎桥监狱看望老友,他们对文字学、音韵学方面的问题有着共同兴趣,每次都谈兴甚浓,相谈许久不倦。因为都在日本留过学,对日本文字有一定的研究,两人谈来谈去,颇多心定,决定合著学术专著。1936年,何遂与陈独秀合作写了一本关于日本片假名源起的小册子,在各自的号中取一字合为笔名。
写好后,何遂把书稿交给了傅秉常(时任立法委员、立法院外事委员会委员长)。傅秉常将该书作为他主编的三民主义文库(也称中山文库)系列丛书中的一卷,正式出版。傅秉常付了1000块大洋的稿费,何遂让傅秉常派人直接送给了陈独秀。
何遂与陈独秀相交多年,很了解陈独秀的性格。何遂四子何达说:“父亲知道,陈独秀因妻子潘兰珍白天要到狱中陪他,还要在狱外赁屋居住,很需要钱。但陈独秀为人狷介,绝不会轻易受人钱财,这种稿费他是最愿意收受的。”
何遂为表示与陈独秀的友谊,还送给陈独秀五只古瓷碗,每只碗碗底都有“显德四年”字样,显德四年是公元958年,何遂送给陈独秀的是有近千年历史的珍贵文物,价值不菲。