在傳統風俗中，在端午節這天，為了表現婦女、女兒們的藝手，她們會扎香袋然后互送，所以，這天又有“女兒節”之稱；姑娘出嫁也要扎幾個香袋掛在帳勾上，以鎮邪氣。關于香袋的由來，還有個古老的傳說。

相傳古代，許多妖魔鬼怪出來傷人，可是這些鬼怪出來也有一定時辰、季節，有的在日間，有的在夜間，有的在清明，有的在七月半。牛鬼在夜間，蛇神在日間，牛鬼五更雞叫回陰府，五步蛇午時才開眼，新鬼出現在清明，老鬼只在七月半。

傳說，每年五月五日午時，這個時辰是所有妖魔鬼怪都出來活動。這個時辰是“三五”相重就是五月、五日、午時(午音同五)，是魔鬼的時辰。所以古人又將這個節叫“重五節”、“五毒日”。

傳說古人很難避過這個時辰，如果能避過就能平安，不然就會給鬼怪害死。這時救苦救難的觀世音菩薩托夢給人們，說妖魔鬼怪最怕金屬、香氣，只要你帶上金屬和香氣之類，就能避過妖魔鬼怪之害。人們一傳十，十傳百，很快傳開了觀世音菩薩托夢救人的事，他們就在這一天午時，身上佩帶各種各樣的金屬與香氣之類來避邪，這種做法，俗稱“壓午”，結果，平安無事。從此，人們每年在這天佩帶金屬、香氣之類的東西，時間久了，就漸漸地發展為今天的香袋。