文物館的格局其實共由3棟建築搭連而成，分別為A、B、C館。這棟維多利亞式的洋樓，興建於大正2年（1913），歷時6年後於大正8年（1919）落成，A館洋樓是屬於台灣日治時期西洋建築。洋樓整體呈口字形，中央是個中庭花園，房間格局曾為了展覽而稍做調整，但大致保留當年的空間配置。參觀洋樓立面時，可注意其山牆、屋頂、入口、柱身、柱頭、角塔等裝飾。C館是面臨中山路的清代閩南式長條型店屋，這棟二百多年歷史的舊式店舖住宅，又稱為「古風樓」，頗富文人附庸風雅之趣，以往主要入口處設在這裡。2000年春節整修工程完畢後暫時封閉了第一進，但仍可看出傳統長條型店屋的格局特色，包括第一、二進中的天井，以及第二進的樓井。而Ｂ館則是連接A、C兩館的二樓建築，年代建於C館之後、A館之前，是座地基方正的磚木混造建築。

1. 一樓庭院：展出許多糖?榨蔗石磨、石斛、舂米石臼、秤量錘等昔日傳統的生活器具。大廳：以紅底金粉紙分裱成八幅的〈辜耀星先生家傳〉，略述辜顯榮的事蹟，辜氏本名顯榮、字耀星，其後代乃取其名與字各一而成「榮星」，創設榮星花園、榮星幼稚園。八張太師椅、四張茶几的陳設，則為典型「全廳」的擺設，搭配古代文人腦力激盪的「七巧桌」，顯現出非凡的貴氣。文獻圖片展覽室：二百年前市街模型可幫助現代人對鹿港古地名的認識，龍山寺模型則為著名餅鋪鄭玉珍老闆鄭啟東所承製，另有曾名列台灣四大鹽田的鹿港鹽田模型；清末民初富貴人家的服裝佩飾、戲曲、宗教器物的展示，則讓人們領略過去傳統藝術的美感與象徵意義。

2. 二樓展示了辜家捐獻的民初中西式家具，公媽廳與神明廳分設於上下二樓，印證了辜家日本時代以來的派頭，其中會議室牆上掛的「福壽」匾，據說是慈禧太后御賜，辜顯榮的塑像則為台中名雕塑家陳夏雨所製；書畫、詔書等先人墨寶，是研究鹿港文學發展史重要的史料。

3. B館：陳列農作器具，表現出傳統農業社會勤儉樸實的風貌。

4.Ｃ館：古風樓以實景實物的擺設，來展現出鹿港傳統風貌的生活型態，一樓有神明廳、翁姑房、賬房和廚房，神明廳陳設結婚禮堂，牆上所掛的出嫁圖，是辜家與鹿港丁家聯姻的復原圖，由圖中可看出當年壯觀的嫁妝行列；二樓有大廳、洞房、產婦房和書房。