Michael Kratsios, consultor científico da Casa Branca, alegou que a empresa chinesa Moonshot construiu seu modelo Kimi K3 copiando o Fable LLM da Anthropic enquanto usava chips proibidos para exportação para a China. Kratsios declarou: “A destilação industrial secreta em grande escala destinada a roubar tecnologia proprietária dos EUA e minar a pesquisa americana é inaceitável.” As discussões sobre a proibição dos modelos de peso aberto chineses estão em curso, em meio a preocupações no setor de IA.
O secretário do Tesouro, Scott Bessent, apoiou Kratsios, alegando: “Estamos encontrando marcas d’água de nossos grandes modelos linguísticos dos EUA em muitos dos modelos chineses, e isso é inaceitável.” A natureza destas marcas d’água permanece obscura e o Departamento do Tesouro não respondeu às perguntas.
Os especialistas expressaram ceticismo sobre a noção de que a destilação por si só poderia explicar as capacidades avançadas do Kimi K3. Braden Hancock, pesquisador do Laude Institute, comentou: “Não acho que você consiga um modelo tão forte e tão rápido na esteira de Fable fazendo destilação estrita”, citando o curto período de tempo desde que Fable foi lançado em 1º de julho. Hancock enfatizou a dificuldade de destilar dados tão complexos em duas semanas.
Nathan Lambert, do Allen Institute for AI, acrescentou que a eficácia da destilação parece estar diminuindo à medida que os modelos chineses se tornam mais sofisticados. Ele observou que os métodos de treinamento atuais estão cada vez mais inclinados ao aprendizado por reforço, que envolve processos maiores e mais complexos do que a destilação.
A destilação normalmente requer que um laboratório consulte sistematicamente um LLM para gerar dados para pós-treinamento. Isto pode envolver um ajuste fino supervisionado, onde um modelo imita as capacidades de outro. No entanto, Lambert advertiu que à medida que os modelos se tornam mais complexos, as vantagens do ajuste fino supervisionado diminuem.
A Anthropic acusou anteriormente Moonshot, DeepSeek e MiniMax de destilar seus modelos, alegando que detectou padrões de consulta incomuns indicativos de extração de capacidade. Em contraste, as práticas de destilação são reconhecidas em toda a indústria de IA, conforme observado por Elon Musk, que testemunhou que a SpaceXAI destilou modelos OpenAI para criar Grok.
Em suas alegações, Kratsios também afirmou que Moonshot adquiriu chips Nvidia avançados e servidores GB300 na Tailândia, cuja exportação é proibida para a China. Sam Bresnick, pesquisador do Centro de Segurança e Tecnologia Emergente de Georgetown, apontou a existência de um mercado negro para esses chips proibidos.
Bresnick pediu leis de “conheça seu cliente” para data centers envolvidos em operações de treinamento significativas. No entanto, o progresso estagnou nas regulamentações federais propostas pelo Departamento de Comércio do Presidente Biden, que pretendia estabelecer tais regras até 2024.
Os exportadores de chips avançados devem garantir a utilização para fins aprovados, mas a aplicação nesta área continua a ser um desafio, conforme sublinhado pela recente acusação do fundador da Supermicro por contrabando de chips avançados para a China.
