对奥运会足球比赛，国际足协与国际奥委会之间存在很大的分歧。国际足球联合会担心奥林匹克运动会足球比赛会成为另一个世界杯，从而动摇世界杯作为唯一最高水准的足球比赛的地位，所以国际足协曾长期反对职业足球运动员参加奥运会足球比赛。从前奥运足球限制只容许业馀球员参加，但奥委会和国际足协在“业馀球员”的定义上有不同意见。经过双方不断磋商，对参加者的要求也一直在改变。1977年，国际足协决定不允许参加过上届世界杯足球赛的运动员参加奥运会足球比赛。1984年则修改为，参加世界杯的运动员从1988年夏季奥林匹克运动会开始可以参加奥运会足球比赛，但是年龄不得超过23岁。此后又决定只允许不超过3名年龄23岁以上的运动员参加。2009年12月的国际足协执委会会议，决定在2012年伦敦奥运会上维持该规定。
即使国际足协放宽年龄限制，由于奥运会举行的时间，正值欧洲各国足球联赛球季开始的时段，再加上在奥运开始前约一个月欧洲球员刚刚完成欧洲足球锦标赛，因此难以吸引更多职业足球员，放弃球会季初的比赛去参加奥运。因此奥运男子足球不同于国际足协规管的国际比赛，获征召的足球员所属球会有权拒绝旗下球员参加奥运赛事。2016年为例，有份参与2016年欧洲足球锦标赛的球员（有部分的年龄符合参加奥运）当中没有一位参与2016年奥运足球赛。足球水准较高的欧洲，其国家队在世界杯决赛周中占有近一半席位，但在奥运足球各洲席位平均分布下，不少欧洲足球强国没有取得参赛资格。现在欧洲足协干脆用欧洲21岁以下青年足球锦标赛的前4名作为奥运男子足球参赛资格，而欧洲各国都视奥运男子足球为锻炼青年球员的练习场地，也是参赛球员于国际大赛的锻炼从而升上国家队的平台之一。反而世界杯足球赛和奥运会同年举行的欧洲足球锦标赛才是欧洲各国的目标，此举亦令奥运会与作为“世界第一运动”的足球结合的极其尴尬，奥运足球赛关注程度不及其他奥运项目和世界杯。一般情况下，奥运男子足球的精彩程度也被认为不如一个国家的国内顶级联赛有水准，在这样的环境下，奥运男子足球的去留问题一度成为话题。
1996年夏季奥林匹克运动会加入女子足球项目，由于当时女子足球运动发展仍未成熟，因此国际足球联合会没有对女子足球作出限制。