樓外樓菜館始建年代有清道光、同治、 光緒三說，一般多認爲道光二十八年（１８４８年）一說比較可靠。此樓業主是一位 清朝的落第文人，名叫洪瑞堂。他與妻子陶氏秀英自雙親亡故後由紹興東湖遷至 錢塘，定居在孤山腳下的 西泠橋畔，以划船捕魚謀生——因夫妻雙雙是從魚米之鄉的紹興而來，在烹製鮮魚活蝦方面有一技之長。 樓外樓先是捕魚蝦選佳者烹製出售，後來想到西泠橋一帶無飲食店，便在略有積蓄之後開了一片 規模較小的菜館，當初僅是一處平房，地處六一泉旁，位於俞樓與 西泠印社之間。
菜館的命名有兩種說法。一種說法是店主從南宋詩人林升《題臨安邸》"山外 青山樓外樓， 西湖歌舞幾時休暖風薰得遊人醉，直把 杭州作汴州"詩中得到啓發而取爲"樓外樓"。
