切手が生まれた時点からその収集は始まったといわれる。世界で最初に発行されたのはイギリスのペニー・ブラックと2ペンス・ブルーである。
日本においては1950年代後半から1960年代頃にかけ、グリコが商品のおまけに切手を入れたことを端緒として、切手ブームが起こった。当時は新しい切手の発売日には郵便局に購入希望者が長蛇の列をなして並ぶ光景が見られた。
日本切手の中では、1948年（昭和23年）発行の5円切手「見返り美人」（菱川師宣画）や、1949年（昭和24年）発行の8円切手｢月に雁｣（歌川広重画）などが価値あるものとして一般に知られている。 このため、記念切手が高価なものの代名詞であるかのように誤解されがちだが、実際には記念切手はその性質から未使用で保存されている場合が多い為、希少性は不発行切手などの一部の切手を除いて高いとはいえない。
稀品の多くは発行回数が多いために変種などが生まれる可能性の高い普通切手であることが多い。
日本における主要な切手収集（郵趣）組織としては、財団法人日本郵趣協会がある。
