Считается, что игра в гольф зародилась в Шотландии и была изобретена пастухами, которые с помощью посохов (будущих клюшек) загоняли камни в кроличьи норы. Предположительно игра существовала уже в XIV веке, а в XV веке в Шотландии вышло несколько законов, запрещавших играть в «гоуф». В XVII веке клюшками в мяч играли уже в Нидерландах. Игра в её современном виде оформилась в XIX веке в Шотландии.

В то время как современный гольф зародился в Шотландии в 15 веке, древнейшие формы игры остаются неясными и являются предметом споров. Некоторые историки связывают гольф с игрой, существовавшей в Римской империи: паганикой (paganica), в которой участники использовали гнутую палку для ударов по мячу, набитому перьями. По одной из теорий паганика распространилась по всей Европе по мере роста территориальных владений империи в течение 1 века н. э. и постепенно эволюционировала в игру, которую мы знаем сейчас. Другая точка зрения состоит в том, что предком гольфа могла являться китайская игра чуйван (кит. 捶丸 — толкать шар), распространённая в период 9-14 веков. Свиток времён династии Мин, датируемый 1368 годом и имеющий название «Осенний пир», изображает членов китайского императорского двора, размахивающих чем-то похожим на клюшки для гольфа в попытках загнать маленький мяч в лунки. Предположительно, чуйван стал известен в Европе в Средние века. Ещё одной из ранних игр, которая напоминает современный гольф, является игра «камбука» (англ. cambuca, франц. chambot). Эта игра была занесена в Нижние земли, Германию и Англию.