В Центральной Америке получила развитие месоамериканская игра в мяч, в том числе у народа ольмеков – уже в XIV веке до н. э. Существовали различные виды игры, в которых разрешалось ударять мяч разными частями тела или же клюшкой, найденные игровые площадки с укреплёнными на разных концах на большой высоте кольцами указывают на возможное существование подобия современного баскетбола. Игра в мяч использовалась народами Америки для разрешения спорных вопросов (в том числе споров за территорию) и зачастую носила ритуальный характер, особенно во времена расцвета культуры майя; поражение в игре могло обернуться смертью для проигравших, которых приносили в жертву.
После того, как в Европе на смену язычеству пришло христианство, занятия спортом пришли в упадок. Церковная доктрина считала упражнения для развития тела развращающими душу и отдаляющими человека от Бога. Если для первых христиан тело – это храм Святого духа, то позже восторжествовала идея отказа от мирских благ во имя спасения души, из которой следовали требования аскетизма и «умерщвления плоти», представление о греховности физических упражнений.
После превращения христианства в государственную религию Римской империи античная физическая культура пришла в упадок и уже в 394 году, при императоре Феодосии, последовал отказ от Олимпийских игр и олимпийского летосчисления. В дальнейшем спортивные состязания проводились от случая к случаю, только по специальным разрешениям и, главным образом, в восточной части империи (в последний раз в 520 году). После масштабных народных волнений 529 года император Юстиниан закрыл почти все организации и учреждения физической культуры, включая знаменитый Афинский гимнасий. Развитие спорта в западном мире остановилось на века, возобновившись лишь в эпоху Возрождения.
В этот же период глохнет физическая культура и на другом конце Евразии – в Китае, где под влиянием конфуцианства упал интерес к физическому развитию человека. Эта эпоха стала периодом дробления китайской лечебной гимнастики на множество сильно отличающихся направлений. Уроки восстания Жёлтых повязок побудили цзиньские власти в Китае запретить ношение оружия, что привело к появлению в народе новых форм борьбы без оружия, а также развитию фехтования на палках. В VI веке зарождается школа боевых искусств Шаолиня, затем аналогичные школы возникают и в других местах в Китае при поддержке буддийских монахов, а ещё позднее, уже в середине второго тысячелетия новой эры, похожий запрет на ношение оружия простонародьем привёл к появлению боевых искусств Японии, отличных от тех, которые развивались на континенте. В эпоху монгольского господства (династия Юань) распространение в Китае получили и другие виды спорта, связанные с военной подготовкой – верховая езда, стрельба из лука, различные виды борьбы. Японские самураи, которые даже с оружием начали проигрывать бои невооружённым крестьянам, в свою очередь разработали систему борьбы без оружия, получившей название «дзю-дзюцу» (на Западе – «джиу-джитсу»).
Несмотря на официальное отрицательное отношение христианской церкви к физической культуре, властям приходилось не только поощрять подготовку рыцарства, бывшего основной военной силой в Западной Европе, но и закрывать глаза на народные игры и соревнования – в частности, в германских землях и в Ирландии, где традиция игр сохранилась до второй половины XII века. Ещё более терпимым было отношение к популярным у народа развлечениям в регионах, где господствовало православие. С ослаблением феодального гнёта в Западной Европе в период высокого Средневековья и позже в эпоху Возрождения сформировалась схожая для разных стран простонародная физическая культура, включавшая бег, прыжки, метание тяжестей и борьбу. Уже в XIII веке появляются беговые дорожки и начинается организованное производство коньков, а в XIV веке встречаются описания разнообразных игр с мячом – тенниса, файвза, бендибола, футбола (в Англии и в Италии, где игра носила название «кальчо»), боулинга, хёрлинга. В городах, где существовала цеховая культура, проводились соревнования между цехами в дисциплинах, связанных с основной профессией участников – в гребле, прыжках в воду, плавании у солеваров, в фехтовании у оружейников и т. д. С началом эпохи Возрождения в Западной и Центральной Европе возвращается интерес к гармоничному развитию человеческого тела. На смену рыцарству в качестве основы регулярных армий приходит пехота, а среди народных соревнований видное место занимают турниры по стрельбе (как из лука и арбалета, так и из огнестрельного оружия) и фехтованию. В XVI веке в Италии выходят трактаты с подробным описанием правил отдельных игр (в том числе кальчо) и методики тренировок. Во Франции в том же веке переживает бум жё-де-пом – предшественник тенниса. Современник-англичанин, посетивший Францию в конце века, писал, что число площадок для игры в мяч превышало там число церквей. В Нидерландах столь же популярной забавой стали коньки.