Mafia II é um jogo de ação e aventura em terceira pessoa ambientado na fictícia cidade americana de Empire Bay entre 1945 e 1951. Os jogadores controlam Vito Scaletta através de uma campanha baseada em histórias envolvendo o crime organizado, navegando em um mundo aberto a pé ou de veículo. A jogabilidade combina tiroteio, direção e combate corpo a corpo limitado, com um sistema procurado que aumenta a resposta da polícia com base em atividades criminosas. O jogo apresenta veículos apropriados para a época, música de época licenciada em várias estações de rádio e um sistema de combate baseado em cobertura.

Em 1943, o imigrante siciliano Vito Scaletta é preso durante um assalto e opta por se alistar no Exército dos Estados Unidos em vez de cumprir pena de prisão. Depois de voltar para casa de licença em Empire Bay em 1945, ele se reúne com o amigo de infância Joe Barbaro, que se envolveu com as famílias do crime organizado da cidade. Quando Vito descobre que seu falecido pai deixou a família profundamente em dívida com um agiota, ele se volta para o submundo do crime em busca de trabalho, assumindo empregos com Joe e vários contatos da máfia para acertar o que é devido. Depois de um período na prisão, Vito surge em 1951 e sobe rapidamente nas fileiras da família do crime Falcone ao lado de Joe, garantindo o estilo de vida que ele sempre quis. Mas à medida que as tensões aumentam entre as facções rivais da cidade, Vito encontra suas lealdades testadas e suas ambições ameaçadas por forças que ele não pode controlar.