Recentemente, reli o livro "Hackers" do Steven Levy com minha filha. Levy descreve como o poema de Brautigan de 1967, "Todos vigiados por máquinas de amorosa graça", inspirou os "Hardware Hackers" da Califórnia dos anos 1970 e organizações como a Community Memory.
Em 2026, a frase "todos vigiados por máquinas de amorosa graça" evoca a imagem da humanidade acolhida nos braços de uma IA poderosa e alinhada ("que ama a humanidade"): uma ditadora benevolente de IA. De fato, em seu ensaio intitulado "máquinas de amorosa graça", Dario Amodei sugere (embora reconheça uma profunda incerteza) que uma forma de economia futura poderia ser organizada em torno de sistemas de IA (alinhados aos valores humanos) que determinam como "distribuir recursos... aos humanos com base em uma economia secundária do que os sistemas de IA acham que faz sentido recompensar nos humanos". Isso parece colocar as IAs como pais que controlam e cuidam das necessidades materiais de seus filhos humanos e decidem como recompensá-los ou puni-los. Para mim, um "pai IA" assim se parece muito com um ditador benevolente.¹
Independentemente de você achar que uma IA como pai amoroso é um resultado bom ou ruim, Brautigan e (mais importante) os hackers da Califórnia tinham uma visão bem diferente e mais descentralizada. Nos anos 1960, os computadores eram máquinas grandes fabricadas por empresas como a IBM. Eram odiados por muitos na esquerda e considerados parte do complexo militar-industrial. Mas havia um grupo que combinava política de esquerda (ou pelo menos uma atitude antissistema) com amor pela tecnologia e acreditava que os computadores poderiam se tornar ferramentas de descentralização e libertação. Para isso, os computadores gigantes e caros precisariam dar lugar a máquinas pequenas e baratas. Era sobre isso que os "hardware hackers" tratavam, e esse foi o movimento que levou ao Apple II e à revolução do computador pessoal.
Hoje, assim como os mainframes da IBM nos anos 60, os sistemas de IA são grandes e caros, e estão cada vez mais integrados em aplicações militares. Mais uma vez, muitas pessoas na esquerda (e recentemente também na direita) sentem forte ódio e medo dessa tecnologia. Embora alguma apreensão possa ser justificada, ao se recusarem a se envolver com a IA e reconhecer suas capacidades, essas pessoas estão se tornando menos relevantes para moldar o progresso da IA. Além disso, enquanto os EUA lideram a fronteira, estamos ficando para trás em IA de pesos abertos, e os modelos fechados enfrentam restrições crescentes. Todas essas tendências não são um bom presságio para um futuro mais descentralizado.
As leis de escala nos dizem que a maneira de aumentar a inteligência é através de cada vez mais recursos — computação, dados, energia. Portanto, ao contrário dos anos 1970, as IAs não estão ficando menores e mais distribuídas, mas sim maiores e em data centers cada vez maiores. Em seu ensaio, Amodei descreveu a AGI como "um país de gênios em um data center". Mas quem é o governante deste país? A empresa de IA que possui o data center? A própria IA?
Dada a tendência para sistemas maiores e mais caros, é possível que as poucas partes que podem arcar com tais sistemas capturem todo o valor econômico que eles geram. Além disso, se as IAs forem mais inteligentes que nós, a tentação de dar a elas mais controle por vantagens econômicas ou militares pode ser difícil de resistir. Receio que a concentração de poder, seja nas mãos de algumas entidades ou da própria IA, possa ser o "caminho padrão". Mas essa escolha não é inevitável.
Sou tão "pilled pela lição amarga" e "pilled pelas leis de escala" quanto qualquer um. Concordo que, em última análise, inteligência é simplesmente computação, independentemente de ocorrer em proteínas ou silício, e aumentar as unidades de computação aumentará a inteligência. Mas isso não determina o resultado social ou econômico. Sim, os sistemas de IA se tornarão mais poderosos e muito mais inteligentes que nós. Não, isso não significa que precisamos aceitar ditadores de IA, benevolentes ou não. Nem significa que apenas o governo e alguns laboratórios devem ter acesso à IA avançada. Poderíamos seguir o caminho do controle centralizado, mas não precisamos fazê-lo. Pessoas, instituições e legisladores podem fazer escolhas sobre como equilibrar eficiência, segurança e autonomia individual. Eles não precisam sacrificar esta última pelas primeiras.
Alguns podem alegar que as forças do mercado e do capitalismo levarão as pessoas a ceder o controle às IAs. Mas a economia, em última análise, é sobre o que os humanos valorizam. Os humanos são animais sociais e damos valor a bens (como ouro) não por seu valor intrínseco, mas por como outros humanos os valorizam. A IA mudará radicalmente o que valorizamos, embora seja difícil prever de que maneiras. Não tenho nem certeza se conceitos econômicos como produtividade, trabalho, capital e PIB continuarão a fazer sentido no mundo pós-AGI. Os físicos sabem que "mais é diferente". À medida que os cientistas estudavam novas escalas, sejam galácticas ou subatômicas, precisaram inventar novas teorias, da física newtoniana à relatividade geral e à mecânica quântica. Talvez precisemos de um novo tipo de economia.
Outros podem dizer que, dado seu poder, a segurança exige que a IA seja controlada pelo governo, por um laboratório "consciente da segurança" ou pela própria IA alinhada. Os riscos são reais — eu mesmo trabalho em segurança de IA. Mas também devemos lembrar a longa história do uso de ameaças para tirar as liberdades das pessoas. Algumas dessas ameaças eram reais — houve muitos espiões soviéticos durante o período McCarthy e a NSA lidou com organizações terroristas reais durante o tempo de Snowden lá. Mas, em retrospecto, percebemos que a troca não valeu a pena. Devemos investir em salvaguardas, mas ser empíricos tanto sobre os riscos quanto sobre a eficácia de nossos métodos. Tentar alcançar segurança perfeita contra todos os riscos, reais e imaginários, não só está fadado ao fracasso como nos custará nossa liberdade no processo.
Os riscos da IA podem levar a uma mentalidade de "os fins justificam os meios": "os mocinhos devem vencer" e eles ou a "IA boa" devem estar no comando. Mas se queremos um futuro centrado no ser humano e descentralizado, então nenhuma entidade deve estar no comando. Nenhuma parte deve ter um monopólio sobre a inteligência. Isso inclui a própria IA: embora possamos e devamos treinar com diretrizes de segurança, a personalidade do modelo, por mais boa que seja, nunca substitui nosso processo democrático.
Os EUA sobreviveram e prosperaram nos últimos 250 anos não porque nossos presidentes foram todos santos ou gênios, mas por causa do nosso sistema de freios e contrapesos. Espero que possamos manter esse sistema nos próximos 250 anos e garantir que nós, humanos, sejamos livres para buscar nossa felicidade da maneira que a definimos. Isso requer que a distribuição do poder das IAs esteja "gravada no DNA" de como construímos e implantamos essa tecnologia. Se falharmos nisso, assim como revoluções sangrentas frequentemente levam a regimes autoritários, podemos não conseguir chegar a um futuro descentralizado por meios centralizados.
Agradecimento: Decidi escrever este post após uma discussão sobre AGI com Sam Altman. No entanto, as opiniões aqui são minhas e não representam Sam, OpenAI ou Harvard.
Notas:
¹ Como mencionado, Amodei admite incerteza sobre o assunto; Veja também "A Adolescência da Tecnologia". Há muitas partes em ambos os ensaios com as quais concordo.
