El juego arranca unos años después del final de Yakuza 2. El protagonista, Kazuma Kiryu, ha abandonado su vida como Yakuza, se ha alejado de la ciudad de Kamurocho y ahora reside en Okinawa, donde dirige un orfanato para niños, junto con la pequeña Haruka Sawamura, su hija adoptiva. Por desgracia, su vida aparentemente tranquila, se ve interrumpida en el momento en que se suceden ciertos acontecimientos que le obligarán a volver a adentrarse en el peligroso mundo de la mafia japonesa. El orfanato de Kazuma está situado en una zona dominada por Shigeru Nakahara, el jefe de la banda Yakuza local, perteneciente de la familia Ryudo. Nakahara es presionado por el gobierno para que venda sus propiedades y, de este modo, poder construir una base militar y un parque de gran afluencia turística. Prácticamente, Kazuma se ve metido en un conflicto de corrupción entre varias bandas por hacerse con el poder y tomar el control de la ciudad. La gota que colma el vaso fue Daigo Dojima, gran amigo de Kazuma, que resulta herido en un tiroteo cuando intentaban asesinarle. Kazuma vuelve a entrar en el mundo Yakuza para defender a todo lo que ama.