2Digit recuperou o primeiro lugar na tabela de classificação Open Ko-LLM. Em particular, chama a atenção pela melhoria significativa no seu desempenho, com a pontuação média subindo mais de 7 pontos em apenas uma semana.
Two Digit (CEO Park Seok-joon), uma equipe de compreensão de linguagem natural (PNL), anunciou no dia 19 que havia subido novamente ao topo com 67,77 pontos, uma semana depois de conquistar o primeiro lugar na tabela de classificação Open Ko. LLM com uma pontuação média de 60,59.
Existem atualmente cerca de 1.200 modelos registrados no “Open Ko-LLM Leaderboard”, um índice para avaliar modelos de língua coreana hospedado pela Upstage e pela Agência Coreana de Inteligência e Sociedade da Informação (NIA). Começou com uma média de 50 pips em setembro do ano passado e melhorou ao longo de vários meses, mas não viu um padrão superior a 60 pips em média durante algum tempo.
Porém, no 11º dia, os dois números ultrapassaram pela primeira vez a marca dos 60 pontos, indicando a possibilidade de melhorar o nível geral do modelo da língua coreana. Na verdade, como resultado da concorrência de tantas empresas, o resultado tem mostrado uma tendência ascendente constante.
Entre eles, Two Digit perdeu o primeiro lugar por um tempo, mas a partir do 19º lugar, não só voltou ao primeiro lugar (67,77 pontos), mas também ficou em segundo lugar (65,38 pontos). Este é o resultado de um enorme aumento de 7,18 pontos em relação à semana anterior, o que significa que uma melhoria de desempenho que normalmente levaria vários meses foi alcançada em apenas uma semana.
“Faz pouco mais de um mês desde que a empresa aceitou o desafio de competir no ranking de modelos de língua coreana”, disse Park Seok-joon, CEO da Two Digit, acrescentando: “Isso se deve ao seu know-how de qualidade”. sintonia que vem se acumulando constantemente.
A 2Digit já foi proeminente na pesquisa de tecnologias de origem relacionadas ao processamento de linguagem natural (PNL). Em abril de 2022, ficou em sétimo lugar na competição global de leitura de máquina de inteligência artificial (IA) “SQuAD 2.0”, vencendo grandes empresas de tecnologia como Amazon, Google, Facebook e Microsoft.
Em junho do mesmo ano, ficou em 14º lugar globalmente no GLUE, uma competição de avaliação de compreensão de linguagem de IA organizada pela DeepMind. Estas foram as pontuações mais altas entre as empresas e instituições locais.
Em particular, a fim de superar as limitações infra-estruturais das startups locais, a ênfase tem sido colocada no aperfeiçoamento e na tecnologia de recursos de aprendizagem especializados em categorias detalhadas como “leitura” e “alfabetização”.
A explicação é que embora tenha sido possível resolver o problema do conjunto de dados utilizando modelos de aprendizagem anteriores de grandes empresas de tecnologia como o Google, foi necessário acumular conhecimento em aspectos específicos como o código-fonte.
“Como resultado, adquiri conhecimento de aprendizado de máquina baseado em linguagem natural e ganhei confiança de que poderia aprender modelos coreanos além do modelo inglês, que era a principal fonte”, disse o CEO Park.
“Como esperado, consegui obter boas pontuações na avaliação da língua coreana”, disse ele, “e a razão pela qual consegui obter uma pontuação alta em indicadores de avaliação detalhados, como raciocínio, bom senso, compreensão da linguagem e prevenção de alucinações.” A geração do bom senso coreano se deveu às habilidades que acumulei ao participar de diversas competições de PNL.
Especificamente, foi demonstrado que o aprendizado do modelo foi realizado de forma eficiente, melhorando os dados de entrada usando uma técnica de pré-processamento de conjunto de dados, melhorando os dados para se ajustarem ao modelo ou removendo dados que não se adequavam à tarefa.
Além disso, é apresentado que os parâmetros de aprendizagem de ajuste fino supervisionado (SFT) e otimização de preferência direta (DPO) são modificados para permitir que o modelo alcance alto desempenho por meio de aprendizado de domínio aprimorado.
“Continuaremos nos esforçando para revitalizar o ecossistema do modelo de língua coreana junto com os recursos dos aplicativos”, disse o CEO Park Seok-joon. Na verdade, eles anunciaram que revelarão todo o código-fonte e conjuntos de dados ajustados para o modelo classificado em primeiro lugar na tabela de classificação.
“Este é como um livro básico que reduz a barreira de entrada para aprender e desenvolver um modelo de linguagem. A intenção não é usá-lo para obter bons resultados imediatamente, mas para fornecer uma espécie de guia”, disse ele. Em “Ajuste fino padrão”.
Upstage, que hospeda a tabela de classificação do Ko-LLM Open, também deu significado.
“É difícil fazer uma avaliação precisa porque não podemos obter informações detalhadas sobre empresas ou modelos individuais”, disse ele.”No entanto, em linha com a intenção de expandir o ecossistema local de MBA, a pontuação do modelo número 1 foi “Padronização ascendente ” em si é significativo e tem aumentado constantemente nos últimos tempos.
Enquanto isso, o modelo de IA e os dados divulgados pela Two Digit são GitHubVocê pode checar aqui.
Repórter Jang Si Min semim99@aitimes.com
“Leitor implacável. Especialista em mídia social. Amante de cerveja. Fanático por comida. Defensor de zumbis. Aficionado por bacon. Praticante da web.”