“高麗棒子”一語來自明清時期朝鮮貢使團的雜役。古代朝鮮為中國的朝貢國，必須定期派使團向中國皇帝朝拜、進貢，貢使隊伍中由三使臣（正使、副使、書狀官）、軍官、譯官、醫官和雜役等組成。史學家羅繼祖指出“棒子”原為朝鮮人對私生子的稱呼，由於這等人地位低下，故只能在使團中充當雜役，由此傳入中國。他在其所著《楓窗脞語》一書中有如下論述：1860年代的朝鮮朝貢使團 “解放前，呼朝鮮人為‘高麗棒子’，不解所謂。解放後禁用，知非美稱。然其意義為何尚懵然也。王一元《遼左見聞錄》，中有一則雲：‘朝鮮貢使從者之外，其奔走服役者，謂之“棒子”。其國婦女有淫行，即沒入為官妓，所生之子曰“棒子”，不齒於齊民。鬢髮蓬鬆，不得裹網巾；徒行萬里，不得乘騎；藉草臥地，不得寢處火炕，蓋國中之賤而勞者。
根據南京大學歷史學系黃普基（韓國人）的考證，棒子原本寫作“房子”或“幫子”，原本指的是明清時期朝鮮貢使團中地位低微的服役者；這些人由於地位卑賤、素質低下，在中國境內偷摸扒竊、違法亂紀，給中國政府和百姓帶來很大麻煩，因此造成了中國人對朝鮮人的惡劣印象，再加上明清朝廷以“柔遠”之姿態來優待使團而犧牲沿途官民的部分利益，致使中國百姓將帶來的不便歸咎到朝鮮使團頭上。而明清時期中國老百姓習慣稱朝鮮為“高麗”，所以就產生了“高麗棒子”這一蔑稱。它從一個特定的稱謂演變為“高麗棒子”這一含有貶義的泛稱的歷史過程，反映出的是明清時期朝鮮使團與沿途的中國百姓之間的矛盾。
當然也還有另外一種說法，“棒子”一詞與被稱為“房子”或“幫子”的朝鮮使團僕役無關，而是中國民間的一種土語，帶輕蔑之意，也不獨與“高麗”連用。據《清史稿》記載，有東北少數民族土著被稱為“葛蘭棒子”，此外文獻證實清代民間還存在“山東棒子”、“陝棒子”、“窮棒子”等稱謂，“高麗棒子”只是其中一種罷了。而且明代並無高麗棒子之稱，該詞在清代才出現，這並非朝鮮使團僕役在明代表現良好卻在清代表現惡劣，而可能是明清易代後的明朝遺民（尤其是朝鮮使團經過的遼東、直隸地區的人）對朝鮮人產生了厭惡感（如朝鮮降清、在松錦大戰中助清攻明、不用剃髮易服等，故將口語中蔑稱某種人群的“棒子”一詞用於朝鮮人身上，稱之為“高麗棒子”，與朝鮮僕役的稱謂“房子”或“幫子”並無關係，僅是巧合相似而已。由於時間的流逝，“棒子”一詞的其他連用逐漸淡化，唯獨“高麗棒子”一詞使用至今，這或許是由於抗日戰爭時期大量朝鮮人協助日本侵略者在華作惡的緣故。
據清乾隆十六年（1751年）版的《皇清職貢圖》第一冊中“朝鮮國民婦”圖後一頁載：“朝鮮國民人，俗呼為高麗棒子。”而乾隆三十一年（1766年）來華的朝鮮使臣洪大容亦曾記錄他們在京師被中國小孩罵為“高麗棒子”的經歷：“有乘車少婦，掀簾窺望，頗豔麗。平仲直視不迴避，指點稱奇。其幫子看車者，蹲坐簾前，喃喃誶罵，平仲不知覺也。而已，有群童數十，競呼‘高麗幫（棒）子’，吆喝而追之。餘促平仲疾馳，僅以免焉。”以上事實說明早在清代康乾時期，中國民間就普遍對朝鮮人使用“高麗棒子”的稱謂。
