O Tribunal Regional Federal da 3ª Região foi criado juntamente com os outros quatro Tribunais Regionais Federais, pela Constituição de 1988 (artigo 27, § 6º, do Ato das Disposições Constitucionais Transitórias), com o objetivo de substituir e regionalizar a jurisdição do extinto Tribunal Federal de Recursos (TFR).
Os Tribunais Regionais Federais foram inaugurados simultaneamente, com suas sedes em São Paulo, Brasília, Rio de Janeiro, Porto Alegre e Recife no dia 30 de março de 1989, e tiveram suas composições iniciais previstas na lei nº 7.727, de 1989.
O TRF3 foi solenemente instalado sob a presidência do ministro Washington Bolívar de Brito, vice-presidente do Tribunal Federal de Recursos, no Edifício "Saldanha Marinho", na rua Líbero Badaró, 39 - imóvel da Fepasa, tombado pelo CONDEPHAAT - Conselho de Defesa do Patrimônio Histórico, Arqueológico, Artístico e Turístico do Estado de São Paulo.
Estando esse prédio ainda em fase de reformas, o Tribunal ficou instalado, até 5 de setembro de 1989, na sede da Representação do STJ - Superior Tribunal de Justiça, no 11º andar do "Fórum Pedro Lessa", na Avenida Paulista, 1682.
Na data de inauguração do TRF3, foram empossados os magistrados:
Milton Luiz Pereira, Homar Cais
Américo Lourenço Masset Lacombe
Sebastião de Oliveira Lima
Jorge Tadeo Flaquer Scartezzini
Ana Maria Goffi Flaquer Scartezzini
José Kallás
Márcio José de Moraes
Anna Maria Pimentel
Fleury Antonio Pires
Lúcia Valle Figueiredo
João Grandino Rodas
Rômulo de Souza Pires
Diva Prestes Marcondes Malerbi
Célio Benevides de Carvalho
Aricê Moacir Amaral dos Santos
Pedro Rotta
Edgar Silveira Bueno Filho.Assim, na gestão do presidente Jorge Scartezzini, foi obtida por meio de permuta com a Caixa Econômica Federal, a nova sede do Tribunal Regional Federal da 3ª Região, localizada na Avenida Paulista e inaugurada aos 22 de fevereiro de 1999.
A nova sede representou a concretização de um antigo anseio da Justiça Federal em São Paulo, que passou a contar com instalações condignas, permitindo a oferta de uma prestação jurisdicional mais célere e eficaz.
Por meio de alteração no regimento interno, o Tribunal decidiu que internamente seria utilizada a denominação "Desembargador Federal" ao invés daquela determinada na Constituição Federal.