Cormann, de 50 anos e ex-ministro das Finanças de seu país, foi eleito "por uma pequena maioria durante uma reunião dos chefes de delegação", à frente da sueca Cecilia Malmström, ex-comissária europeia do Comércio, informaram à AFP fontes próximas à entidade.
A votação deve ser validada pelo conselho de administração da organização sediada em Paris, que se reunirá na terça-feira.
O novo secretário-geral assumirá o cargo em junho.
A luta contra as mudanças climáticas, em particular através dos impostos, será o centro do seu mandato.
Mathias Cormann não era o favorito para substituir o mexicano Ángel Gurría, que em três mandatos transformou profundamente a OCDE, seja expandindo-a para incluir vários países em desenvolvimento ou mudando a postura econômica liberal da instituição.
Dez candidatos estavam concorrendo, incluindo dois ex-comissários europeus e um amigo próximo do ex-presidente Donald Trump, que era considerado o favorito, mas que jogou a toalha após a derrota eleitoral do republicano.
Ex-senador da região mineradora de Austrália Ocidental, Mathias Cormann partiu com uma desvantagem, a de ser considerado um cético em relação às mudanças climáticas.
Na semana passada, várias ONGs de proteção ambiental expressaram em uma carta à OCDE sua "grande preocupação" com o australiano, e o Greenpeace denunciou um histórico "terrível" em questões climáticas quando ele era ministro.
"Se me elegerem como o próximo secretário-geral, vou me comprometer a tomar medidas ambiciosas e eficazes contra as mudanças climáticas e para ajudar os países ao redor do mundo a alcançar a neutralidade de carbono até 2050", reagiu em resposta à campanha contra ele.
"A OCDE pode ajudar a identificar as melhores práticas, soluções tecnológicas e políticas baseadas no mercado, que maximizem os resultados em termos de redução de emissões" ao mesmo tempo que são "economicamente responsáveis", acrescentou este ferrenho defensor do mercado livre.
Mas as ONGs lembraram que no ano passado o australiano disse que alcançar a neutralidade de carbono em 30 anos era "imprudente e irresponsável" e que, como ministro, havia aprovado um projeto de gás que poderia aumentar as emissões anuais de gases de efeito estufa da Austrália em mais de 50%.
No entanto, apoiado pelos Estados Unidos, soube "fazer promessas sobre o meio ambiente", disse uma fonte da organização à AFP.
A escolha de Mathias Cormann também se explica pelo "facto de a OCDE necessitar de se projetar na zona do Pacífico, que é a região mais dinâmica do mundo e com os problemas geopolíticos mais estruturantes", afirmou a mesma fonte.
Fundada em 1948 para administrar o Plano Marshall para a reconstrução da Europa, financiado pelos Estados Unidos, a OCDE conseguiu, sob o mandato de Gurría, reverter os paraísos fiscais e o sigilo bancário, e atualmente lidera as negociações para reformar a tributação das multinacionais.
A entidade, que reúne os países ricos do planeta, completou 60 anos em 2020.