說起美人靠，據說是春秋時西施嫁到越國，思念故土，每日憑欄。夫差惜玉，于是便為西施在憑欄處做了椅凳，傳為“美人靠”。其實，這也不過是徽州民宅樓上天井四周設置的靠椅的雅稱。因向外探出的靠背彎曲似鵝頸，故又得名“鵝頸椅”。這一道長長條椅，本無太多稀奇，但數百年來的經典詩詞多多少少賦予了美人靠點點愁思。古代閨中女子，只妝樓一方天地，寂寞時也只能獨倚欄桿，遙望天井圍起的一方蒼穹，窺探樓下迎來送往的喧鬧。她們的嗔怨恨，也只能在這一道圍欄上寂寞演繹，對著漏窗下斜斜射進來的幾縷陽光，顧影自憐。這深深庭院，總不免會為美人靠增添幾分閨怨。

塘棲的廊檐在靠河的一邊都建有一長溜木制長椅，塘棲人叫它“米床”。原來，米市興起時，塘棲街上處處是米行，米行的進貨出貨都離不開船，這沿河的長椅便成了收米賣米的經營場地，堆放一些笆斗米袋之物。而且，行人路過此地時不用再擔心日曬和雨淋。累了，還可以往椅子上一靠，休息上片刻。有句俗稱說：“跑過三關六碼頭，不及塘棲廊檐頭”。夏間，米床更是納涼的好去處。手搖芭蕉，嘴刁，賞燈觀月，何等逍遙？這時，如有美女坐于米床，托腮沉思，憑欄遠眺，更富風情風味，惹人遐想。于是有文人墨客便給米床起了個充滿詩意的名字——美人靠。