A história da família que viveu no casarão teve início no começo do século XX, com Octaviano Augusto Alves de Lima e sua esposa Izabel. Eles moravam na cidade de Tietê, interior de São Paulo, tinham 5 filhos e administravam uma promissora fazenda de café. Era uma época onde o grão era negociado e vendido mesmo antes de ser colhido. O mercado brasileiro controlava quase toda a oferta do produto no mercado mundial, regulando os preços e obtendo lucros exorbitantes. Todo esse lucro impulsionava a economia do país, promovendo o desenvolvimento das cidades, ferrovias e portos e enriquecendo ainda mais os barões do café.
No ano de 1901, uma intensa geada queimou toda a safra da família Alves de Lima, e endividados, eles se viram obrigados a recomeçar a vida em Buenos Aires, local onde a bebida tradicional era o chá, fruto da influência inglesa na região.
Octaviano Augusto e Izabel, empreendedores natos, percebem a oportunidade de instaurar um novo hábito e abrem o Café Paulista na capital argentina. Ele distribuía panfletos nas ruas e ela servia a bebida aos clientes, além de ensinar as empregadas das famílias ricas a preparar o café do jeito brasileiro.
A iniciativa deu tão certo que o mercado argentino passou, em pouco tempo, de uma importação de insignificantes 15 mil sacas de café por ano, para 600 mil sacas. Sem apoio nenhum do governo brasileiro.
Os filhos do casal Alves de Lima crescem e no vai e vem entre Buenos Aires e São Paulo, seu filho Octaviano conhece Anna Silva Telles. Eles se casam e em 1911 Antônio Carlos da Silva Telles, pai de Anna, dá de presente ao jovem casal a residência dos Campos Elíseos. Hoje, renomeada em sua homenagem como Casa da Don’Anna por seu neto e proprietário, Luis Eduardo Alves de Lima.