近代著名音樂家曾志忞（1879—1927），字澤民，號澤霖。父親曾鑄，字少卿，號壽魚，是愛國實業家、上海商會總理。1905年，海內外掀起廢除美國歧視勞工的《排華法案》運動。曾鑄召開上海商會董事會，作出抵制美貨的決定，由此引發了中國各地聲勢浩大的抵制美貨運動，一時間，曾鑄成為民眾心目中的英雄。曾鑄還與盛宣懷籌建上海貧兒院，為此光緒皇帝頒發御書“廣學流慈”匾額，以示鼓勵。曾鑄喜愛藝術，與孫菊仙、潘月樵等京劇演員相友善；還喜歡西方音樂，曾資助高壽田、馮亞雄等人出國留學。

曾志忞受父親影響，喜歡音樂，早年在上海南洋公學附屬小學任教。1901年，曾志忞赴日本早稻田大學攻讀政學，夫人曹汝錦（曹汝霖的妹妹）赴日本學習音樂。1904年，曾志忞發起了我國第一個新式音樂社團亞雅音樂會。

1908年，曾鑄因病去世，曾志忞自日本歸國，承接上海貧兒院工作。1913年，革命黨人發起討伐袁世凱的戰役，上海成為主戰場。北洋軍進攻上海時，女貧兒院及曾志忞的住宅被大炮焚燬。由於在上海棲居無地，曾志忞到了北京。在京期間，擔任大理院特約律師。

1915年至1916年公務之餘，曾志忞與高壽田、馮亞雄在北京創辦中西音樂會。此間，有一位朋友約他去天津意租界小住。曾志忞初到天津，領略了這裡的風土人情，特別對租界的衣食住行和生活狀態感興趣。他對朋友說：“這裡可以安家呀。”此後，他在意租界租了三間房屋，居住大約一年。這期間，他詳細考察了意租界的管理章程。意租界規定所有房屋建築格局不能重複，住房不得數宅毗連，各馬路兩旁不準開設商店，飲食、雜物出售皆在本界菜市。曾志忞覺得這樣的環境，“居家異常清靜”。

1916年北京中西音樂會結束後，曾志忞著力在天津安家。無事之時，他靜坐凝思，打算在意租界蓋一所住宅。他十分喜歡種植菊花，為此想“栽數畝秋菊，大是快事”。不久，又想到先父曾氏家祠究竟建於何處。最初選在上海或者嘉定。嘉定雖然清淨，“惜交通不便，耳目不新”。上海五方雜居處，繁華熱鬧，但“地價昂貴，無力經營”。此時有朋友建議：“何不即求意界耶？”他自己也認為“此佳地矣”。他考慮，父親生前未曾北遊，而今日在此間供奉，想必九泉之下有知，“得毋掀髯一笑乎”。 隨後他與親戚朋友商量，得到了支援。