本届奥运会于1964年10月10日-24日举行，参赛的有94个国家和地区的5140名运动员，其中女子683人。运动员人数最多的是美国队，共计346人，其次是德国联队，336人，东道主列三329人。苏联也派出了319名选手参赛，仅次于美、德、日代表团。首次应邀参加的有阿尔及利亚、象牙海岸、喀麦隆、刚果、马里、尼日尔、塞内加尔、坦噶尼喀和桑给巴尔、乍得、多米尼加、特里尼达和多巴哥、蒙古、尼泊尔。马来西亚队是由前次的马来亚、新加坡和北婆罗洲组成。南非因推行种族歧视政策，被剥夺了参赛资格。中国台湾派出了55名运动员，参加了田径(6人)，篮球(12人)、举重(7人)、自行车(5人)、拳击(7人)、柔道(4人)、射击(6人)、体操(8人)8个项目的比赛。
