A OpenAI afirma que seu modelo de IA mais recente, apelidado de "Strawberry" e lançado sob o codinome o1-preview, é capaz de "raciocinar". No entanto, parece que o criador do ChatGPT considera crucial manter em segredo o funcionamento do processo de pensamento da IA.
Segundo a Ars Technica, a OpenAI está ameaçando banir usuários que tentem desvendar o funcionamento interno do modelo de linguagem avançado — um sinal claro de que a empresa se afastou de sua missão original de promover a IA de código aberto.
Segundo relatos em redes sociais, usuários têm recebido e-mails da startup apoiada pela Microsoft, notificando que suas interações com o ChatGPT foram marcadas por "tentativas de contornar as salvaguardas".
Os e-mails alertam que violações adicionais dessa política poderão levar à perda de acesso ao GPT-4.
A repressão é bastante irônica, considerando que grande parte do entusiasmo sobre o Strawberry decorre de seu método de raciocínio em "cadeia de pensamento", que permite à IA explicar como chegou a uma resposta, detalhadamente. Mira Murati, diretora de tecnologia da OpenAI, referiu-se a isso como um "novo paradigma" na tecnologia.
Os relatórios divergem quanto aos gatilhos das violações. Alguns usuários relatam que o uso da expressão "traço de raciocínio" causou problemas. Outros alegam que apenas a palavra "raciocínio" já foi o bastante para acionar os sistemas da OpenAI. Os usuários ainda conseguem acessar um resumo do processo cognitivo de Strawberry, porém este é revisado por um segundo modelo de inteligência artificial e apresenta-se bastante simplificado.
Em uma postagem no blog, a OpenAI argumenta que precisa ocultar a cadeia de pensamento para não precisar colocar um filtro sobre como sua IA pensa, caso diga coisas que não estão em conformidade com as políticas de segurança enquanto "pensa em voz alta". Dessa forma, os desenvolvedores podem ver com segurança seu processo de pensamento "bruto" nos bastidores.
Mas, como a empresa admite livremente, essa medida também ajuda a manter uma "vantagem competitiva", evitando que os concorrentes tentem imitar seu modelo.
Por outro lado, essa estratégia acaba por centralizar mais responsabilidade na adequação do modelo de linguagem nas mãos da OpenAI, em vez de democratizar o processo. Isso pode ser um desafio para os red-teamers, ou seja, os programadores que buscam testar e hackear modelos de inteligência artificial para aumentar sua segurança.
Pela perspectiva atual, a OpenAI parece persistir na trajetória de tornar seus modelos de inteligência artificial progressivamente mais insondáveis.
Com informações de Futurism.
Nenhum comentário:
Postar um comentário