直到元明两代，朝廷规定，乐人、妓女必须着绿服、青服、绿头巾以标志所从事的贱业。从此，“绿帽子”开始成为从事贱业的标志色，并逐渐演变为专门用来指那些家中妻子有不贞行为的男人。《元典章》规定，“娼妓穿皂衫，戴角巾儿。娼妓家长并亲属男子，裹青头巾。”也就是说，娼妓之家长和亲属男子裹着青头巾。由此可见，“青头巾”就与娼妓之男性亲属有了联系。由于青、绿二色比较接近，又同属贱色，人们习惯于说“绿头巾”。由于绿色与娼妓有关，后来，“绿头巾”专用来指妻子有不贞行为的男人，并演变成了“绿帽子”。
明代仍依旧制，洪武三年下诏曰：“教坊习乐艺，青字顶巾，系红线褡膊。乐妓，明角冠、皂褙子，不许与民妻同。”还限定：“教坊司伶人常服绿色巾，以别士庶之服。”在《国初事迹》一书中，也说到明初朱元璋对南京娼妓所作的种种规定，对娼妓家的男子指令必须“头戴绿巾”。妓家男子，其妻女皆从事卖笑生涯;而乐工，一般来说其妻女皆为歌妓。这种男子必戴绿巾。因为“绿巾”是一种帽子的形式，故又称之为“绿帽子”。从此以后，凡妻子与丈夫之外的其他男子有不明不白的性行为，这个丈夫就被称作“戴了绿帽子”。
第三种说法，“绿帽子”的由来是从元朝开始的。从原来在妓院里做工的男人戴绿头巾，演变成中国男人最怕的一顶帽子，那就是“绿帽子”。
这种说法说的是，当时的蒙古是没有娼妓的，化外之人，想要就要，大草原上的男女只要愿意，马上就会天当被子地当床。等到挥军南下进了中原，就很是看不惯号称礼仪之邦的中原人开设的妓院了。于是元朝统治者规定妓女着紫衫，在妓院里做工的男人戴绿头巾，以示与正常人的区别。延续至今，就诞生了中国男人最怕的一顶帽子，那就是“绿帽子”。中国男人怕这顶帽子怕到了发疯的地步，所谓中国男人最不可忍的两件大事就是杀父之仇、夺妻之恨。这种惧怕延伸到女人身上，就是生死是小，失节是大，别以为只有中国的女人被贞节牌坊给束缚住了，事实上同时被束缚着的还有中国男人。妻子没了名节，就意味着丈夫有了“绿帽子”，于是一幕幕刀光剑影就围绕着这顶“绿帽子”展开了。上至官庭，下至平民百姓，多少人为了这顶“绿帽子”大打出手，血流成河。
