José Magalhães da Silveira nasceu em Alfenas (MG) no dia 27 de novembro de 1918, filho de Emílio Soares da Silveira e Isaura Magalhães da Silveira.
Concluiu o curso complementar de engenharia do Colégio Pedro II em fins de 1937 e ingressou na Escola Militar do Realengo em abril do ano seguinte. Formou-se em dezembro de 1940, sendo declarado Aspirante a Oficial da arma de Cavalaria. Foi promovido ao posto 2º Tenente em agosto de 1941, ao posto de 1º Tenente em dezembro de 1943 e a Capitão em junho de 1946.
Foi instrutor de emprego de unidades motomecanizadas da Cavalaria na Escola de Motomecanização entre maio de 1948 e fevereiro de 1951, quando se tornou Aluno da Escola de Aperfeiçoamento de Oficiais (EsAO), no Rio de Janeiro. Ao concluir o curso, em maio do ano seguinte, continuou na Escola como instrutor do curso de Cavalaria e Blindados no período 1952-1954, tendo sido promovido, nesse ínterim, ao posto de Major em outubro de 1953. Cursou a Escola de Comando e Estado-Maior do Exército (ECEME) entre fevereiro de 1955 e dezembro de 1957.
Tornou-se oficial de operações da 4ª Divisão de Cavalaria, em Campo Grande (MT), em 1958. Em fevereiro de 1960, foi designado instrutor de Cavalaria e Blindados e Liderança e Relações humanas da ECEME. Foi promovido a Tenente-Coronel em abril de 1961. Participou do movimento militar que depôs o presidente João Goulart em 1964, integrando o Estado-Maior do General José Horácio da Cunha Garcia, que assumiu o comando da Divisão Blindada. Nomeado Oficial de Gabinete do Ministro de Exército Costa e Silva, em fevereiro de 1965 foi, em agosto seguinte, alçado à Coronel.
Foi comandante do Regimento de Reconhecimento Mecanizado/ Divisão Blindada no Rio de Janeiro (Atual 15º Regimento de Cavalaria Mecanizado -Escola) entre abril de 1966 e maio de 1968, quando foi nomeado chefe da 3ª seção e da seção de planejamento do Comando do I Exército.
Tornou-se chefe do Estado-Maior do Exército, em substituição ao General de Exército Túlio Chagas Nogueira, em novembro de 1983 e passou à reserva remunerada em fevereiro de 1986.
Casou-se com Sílvia Monarcha da Silveira, com quem teve três filhos. Um dos seus filhos, Rui Monarcha da Silveira, também seguiu a carreira militar, chegando a General de Brigada em novembro de 1999