农民看不起他们，禁止与他们通婚。
二战期间，希特勒曾把吉普赛人和犹太人一同关进集中营，遭受杀害的吉普赛人多达50万。
多姆人约于公元1000年离开印度，经阿富汗、波斯、亚美尼亚、土耳其等地，到达欧洲。(至今仍有多姆人散居伊朗等地。)
14世纪时多姆人已到达巴尔干半岛，16世纪时已遍布欧洲各地，包括苏格兰、瑞典等地。
另有罗姆人经叙利亚到达北非，再越过直布罗陀海峡到达西班牙。
同时印度北部至今仍有和罗姆人相似的民族居住。
罗姆人长途迁徙的原因至今仍是历史界之谜。有学者称，多姆人的祖先是低种姓的印度教徒，应征入雇佣兵军队后，升为刹帝利(即战士)种姓，同时被派往西面以抵制***教国家的扩张。
另有学者称，***征服印度北部后，其俘虏沦为奴隶并发展出自身独特的文化，成为罗姆人的前身。
但罗姆人到达中东后，为何不折返印度，反而继续前进，进入欧洲，则是一个不解之谜。
一般认为，吉普赛人离开印度经屡次迁徙，11世纪到波斯，14世纪初到东南欧，15世纪到西欧。20世纪下半叶吉普赛人的踪迹已遍布北美和南美，并到达澳大利亚。
吉普赛人来到中国的时间大约在元代。
蒙古人崛起以后，成吉思汗子孙多次西征，不断在中东地区扩张。他们俘虏了大批当地居民，一部分作为奴隶，一部分补充入蒙古军中。这些人被带回中原以后，就有一部分吉普赛人来到中国，被称为“罗哩回回“。
罗哩回回最早见于元成宗大德六年(1302年)的文献中，他们被元代统治者列入色目人阶层，作为西域流户之一，比汉人南人享有更多的特权。
他们人数不多，仍以部落为单位，保持着歌舞流浪、抢夺的传统，从西北到东南沿海的广大地域，均留下他们的足迹。
直至明代，罗哩回回