Nato nel villaggio Miyamoto nella provincia di Harima, fu istruito all'uso delle armi dal padre Munisai, che era uno spadaccino riconosciuto dallo shogun, mentre al suo sviluppo spirituale contribuì anche il monaco zen Takuan Soho amico di Yagyu Munemori, famoso maestro di spada. A soli 13 anni ebbe il suo primo duello mortale.

A 16 anni partecipò e si batté nella Battaglia di Sekigahara (1600) per la fazione sconfitta, quella dei daimyō dell'ovest. Sopravvissuto al massacro, Musashi cominciò un vagabondaggio per il Giappone alla ricerca di avventure e di affermazione personale.

Vagò fino ai 29 anni, battendosi per sessanta volte ottenendo sempre la vittoria, anche quando si trovò a combattere contro più avversari contemporaneamente o contro maestri di arti marziali, come i samurai della famiglia Yoshioka, famosi per la loro scuola di spada a Kyōto.

Forse il suo duello più celebre fu quello combattuto contro Kojirō Sasaki, detto Ganryu, nel 1612, sull'isola di Funa-jima. Il duello ebbe così tanta rinomanza che ora quest'isola porta il nome di Ganryu-jima.

Alcune voci dicono che Kojiro fosse sordo e che Musashi approfittò di questo per colpirlo mortalmente con un bokken ricavato dal remo della barca che l'aveva portato a Funa-jima, quindi molto più lungo del consueto.

I dati biografici sono incerti, ma tradizionalmente si ritiene vero che Musashi non abbia mai perso un incontro, nonostante contrapponesse spesso un bokken alla katana dell'avversario (si tenga sempre in mente che il bushido, il codice d'onore dei samurai, imponeva allo sconfitto in un duello di suicidarsi). Pare inoltre che fosse di modi molto scortesi: non era mai puntuale agli appuntamenti ed aveva una scarsissima igiene personale, si dice infatti che fosse impossibile lavarlo finché portava la spada al fianco, cosa che faceva persino nel sonno.

A 50 anni si ritirò per dedicarsi allo studio, alla letteratura e ad altre discipline risultando un maestro in molte di esse come, ad esempio, nella pittura, nella calligrafia e nell'arte della forgiatura delle tsuba, le tipiche guardie delle spade che spesso risultavano vere e proprie opere d'arte, tanto che diede il proprio nome a un modello divenuto poi tradizionale.

La leggenda vuole che al suo funerale un fortissimo tuono scosse tutti i presenti alla cerimonia e il commento dei più fu "è lo spirito di Musashi che lascia il corpo".