Кано народився у місті Мікаго, недалеко від Кіото. У 1871 році, коли Кано було 10 років, померла його мати та його родина переїхала до Токіо. У Кано були здібності до вивчення мов, і у віці 15 років він почав відвідувати школу іноземних мов у Токіо. У 1877 році Кано вступив до Токійського університету, де вивчав філософію і політичні науки. В юності Кано був фізично слабким та не вирізнявся міцною статурою, що давало привід для знущань з боку його однолітків. Кано вирішив самостійно почати розвиватися й у 17 років почав займатися Дзюдзюцу у Рудзі Катагірі, у той час в Японії це був поширений вид боротьби. Надалі в основи технік дзюдо лягли елементи боротьби дзюдзюцу.