RagaAI lança hub LLM de código aberto para facilitar avaliação e segurança de modelos de linguagem
Em Breve
RagaAI lançou o 'RagaAI LLM Hub', uma plataforma de código aberto para avaliar e estabelecer proteções para modelos de linguagem específicos de IA.
Plataforma de testes de IA RagaAI anunciou recentemente o lançamento de “Centro RagaAI LLM”, uma plataforma de código aberto e pronta para empresas, projetada para avaliar e estabelecer proteções para Modelos de linguagem grandes (LLM). Com mais de 100 métricas meticulosamente elaboradas, a plataforma visa evitar falhas catastróficas em LLMs e aplicações de geração aumentada de recuperação (RAG).
O RagaAI LLM Hub oferece aos desenvolvedores e organizações um kit de ferramentas robusto para avaliar e comparar LLMs de forma eficaz, cobrindo aspectos críticos como Relevância e Compreensão, Qualidade do Conteúdo, Alucinação, Segurança e preconceito, relevância do contexto, grades de proteção e verificação de vulnerabilidades. Além disso, fornece um conjunto de testes baseados em métricas para análise quantitativa.
“A avaliação holística de LLMs é um requisito fundamental no mundo da construção de LLMs no momento, à medida que cientistas de dados e empresas descobrem que tecnologia e pilha funcionam para eles. Diagnosticar um problema requer identificar meticulosamente o problema na origem e, dadas centenas de possíveis causas raiz, são necessárias centenas de métricas para identificar essa causa raiz”, Gaurav Aggarwal, disse o fundador da RagaAI MPost.
“A capacidade do RagaAI LLM Hub de realizar testes abrangentes agrega valor significativo ao fluxo de trabalho de um desenvolvedor, economizando tempo crucial ao eliminar análises ad hoc e acelerar o desenvolvimento do LLM em 3x.”
Projetado para resolver problemas em todo o ciclo de vida do LLM, desde a prova de conceito até aplicações de produção, o RagaAI LLM Hub identifica problemas subjacentes dentro Aplicações LLM e facilita sua resolução na fonte, revolucionando as abordagens para garantir confiabilidade e confiabilidade.
RagaAI afirma que seu LLM Hub capacita esse recurso por meio de uma série de testes que cobrem vários aspectos da tomada de decisão:
- Prompts: ele itera e identifica modelos de prompt ideais enquanto estabelece proteções para mitigar ataques adversários.
- Gerenciamento de contexto para RAGs: auxilia os usuários a encontrar o equilíbrio ideal entre desempenho do LLM e custo/latência ao operar em escala.
- Geração de resposta: emprega métricas para identificar alucinações em respostas LLM e estabelece proteções para evitar preconceitos, vazamento de PII e outros problemas potenciais.
Mitigando alucinações e preconceitos de IA por meio do diagnóstico LLM
O RagaAI LLM Hub encontra aplicações em vários setores, incluindo comércio eletrônico, finanças, marketing, jurídico e saúde, apoiando desenvolvedores e empresas em tarefas como chatbots, criação de conteúdo, resumo de texto e geração de código-fonte.
Além da avaliação, o RagaAI LLM Hub auxilia na definição de barreiras de proteção para garantir a privacidade dos dados e a conformidade legal, promovendo ética e AI responsável práticas, especialmente em setores sensíveis como finanças, saúde e direito.
“Um de nossos clientes no espaço de comércio eletrônico estava usando LLMs para chatbot para suporte ao cliente, e o chatbot estava dando respostas erradas. Usando RagaAI, esse problema foi detectado e resolvido com sucesso”, disse Gaurav Agarwal da RagaAI. MPost. “No seguro saúde, é importante proteger as informações pessoais do paciente. Em um de nossos clientes, algumas informações pessoais importantes foram compartilhadas com terceiros – um enorme problema de privacidade de dados. Usando as proteções do RagaAI LLM Hub, este e outros problemas semelhantes foram detectados em tempo real e impedidos de acontecer.”
Além disso, visa mitigar os riscos de reputação, aderindo às normas e valores sociais.
“RagaAI ajuda a estabelecer barreiras como a detecção de informações de identificação pessoal (PII) na resposta LLM. Isso garante que nenhum dado pessoal de documentos internos seja vazado pelo aplicativo LLM e é fundamental para a IA Responsável”, explicou Gaurav Agarwal. “Esta e outras medidas de proteção, como garantir respostas imparciais e justas, não comentar sobre os concorrentes e remover informações materiais não públicas (MNPI), são cruciais para as empresas, pois procuram evitar danos sociais e à reputação.”
O lançamento do RagaAI LLM Hub segue um sucesso $ 4.7 milhões em uma rodada de financiamento inicial em janeiro de 2024 liderada pela pi Ventures, para expandir sua Pesquisa de IA, desenvolvimento e base de clientes nos EUA e na Europa.
“Nosso objetivo é fornecer a melhor tecnologia para tornar os LLMs confiáveis e confiáveis. Está investindo significativamente para construir tecnologias-chave para abordar os aspectos de garantia de qualidade do LLM. Tornar esta tecnologia de código aberto é o nosso esforço no sentido de disponibilizá-la a todos para que a comunidade de desenvolvedores desenvolva a melhor solução disponível”, disse Gaurav Agarwal.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Victor é Editor/Escritor Gerente de Tecnologia na Metaverse Post e cobre inteligência artificial, criptografia, ciência de dados, metaverso e segurança cibernética no âmbito empresarial. Ele possui meia década de experiência em mídia e IA trabalhando em meios de comunicação conhecidos, como VentureBeat, DatatechVibe e Analytics India Magazine. Sendo mentor de mídia em universidades de prestígio, incluindo Oxford e USC, e com mestrado em ciência e análise de dados, Victor está profundamente comprometido em se manter atualizado com as tendências emergentes. Ele oferece aos leitores as narrativas mais recentes e perspicazes da tecnologia e Web3 panorama.
Mais artigos
Victor é Editor/Escritor Gerente de Tecnologia na Metaverse Post e cobre inteligência artificial, criptografia, ciência de dados, metaverso e segurança cibernética no âmbito empresarial. Ele possui meia década de experiência em mídia e IA trabalhando em meios de comunicação conhecidos, como VentureBeat, DatatechVibe e Analytics India Magazine. Sendo mentor de mídia em universidades de prestígio, incluindo Oxford e USC, e com mestrado em ciência e análise de dados, Victor está profundamente comprometido em se manter atualizado com as tendências emergentes. Ele oferece aos leitores as narrativas mais recentes e perspicazes da tecnologia e Web3 panorama.
