대규모 언어 모델에 대해 알아야 할 8가지 사항
요컨대
대형 언어 모델(LLM)은 자연어의 뉘앙스를 탐구하고, 기계가 텍스트를 이해하고 생성하는 능력을 향상시키며, 음성 인식 및 기계 번역과 같은 작업을 자동화하는 데 사용됩니다.
LLM을 관리하는 쉬운 솔루션은 없지만 인간만큼 능력이 있습니다.
자연어 처리의 발전과 비즈니스에서의 활용이 급증하면서 대규모 언어 모델에 대한 관심이 높아지고 있습니다. 이러한 모델은 자연어의 뉘앙스를 탐색하고 기계가 텍스트를 이해하고 생성하는 능력을 향상하며 음성 인식 및 기계 번역과 같은 작업을 자동화하는 데 사용됩니다. 다음은 대규모 언어 모델(LLM)에 대해 알아야 할 XNUMX가지 필수 사항입니다.
비용이 계속 증가함에 따라 LLM은 더 "능력"이 있습니다.
LLM은 멋진 혁신 없이도 비용이 증가함에 따라 예상대로 "능력"이 높아집니다. 여기서 가장 중요한 것은 예측 가능성입니다. GPT-4: 최종 모델의 0.1%의 예산으로 XNUMX~XNUMX개의 작은 모델을 학습시킨 후 이를 바탕으로 거대한 모델에 대한 예측을 하였다. 하나의 특정 작업의 하위 샘플에 대한 당혹감 및 메트릭에 대한 일반적인 평가의 경우 이러한 예측은 매우 정확했습니다. 이러한 예측 가능성은 운영을 위해 LLM에 의존하는 기업 및 조직에 중요합니다. 그에 따라 예산을 책정하고 향후 비용을 계획할 수 있기 때문입니다. 그러나 비용 증가가 기능 향상으로 이어질 수 있지만 개선 속도는 결국 정체될 수 있으므로 계속 발전하려면 새로운 혁신에 투자해야 합니다.
방법을 간단히 살펴보세요. GPT 훈련 비용이 증가함에 따라 모델이 적응함
그러나 특정 중요 기술은 증가의 부산물로 예측할 수 없게 나타나는 경향이 있습니다. 교육 비용 (더 긴 교육, 더 많은 데이터, 더 큰 모델) — 모델이 특정 작업을 수행하기 시작할 시기를 예측하는 것은 거의 불가능합니다. 우리는 주제를 더 깊이 탐구했습니다. 기사 개발의 역사에 대해 GPT 모델. 그림은 다양한 작업에 걸쳐 모델 품질 향상의 분포를 보여줍니다. 다양한 작업을 수행하는 방법을 배울 수 있는 것은 대형 모델뿐입니다. 이 그래프는 규모 확장의 중요한 영향을 강조합니다. GPT 모델 다양한 작업에 걸친 성능에 대해. 그러나 이것은 증가된 컴퓨팅 리소스와 환경적 영향의 대가로 발생한다는 점에 유의하는 것이 중요합니다.
LLM은 외부 세계의 표현을 사용하여 보드 게임을 배웁니다.
LLM은 종종 외부 세계의 표현을 배우고 사용합니다. 여기에는 많은 예가 있으며 여기에 그 중 하나가 있습니다. 학습된 모델 개별 동작에 대한 설명을 기반으로 보드 게임을 플레이하려면 경기장 사진을 보지 않고도 각 동작의 보드 상태에 대한 내부 표현을 배웁니다. 이러한 내부 표현은 다음과 같이 사용될 수 있습니다. 미래를 예측하다 움직임과 결과를 통해 모델이 높은 수준에서 게임을 플레이할 수 있습니다. 표현을 배우고 사용하는 능력은 매우 중요합니다. 기계 학습의 측면 인공 지능.
LLM 관리에 대한 쉬운 솔루션은 없습니다.
LLM 동작을 제어하는 신뢰할 수 있는 방법이 없습니다. 다양한 문제를 이해하고 완화하는 데 약간의 진전이 있었지만 (포함 ChatGPT 및 GPT-4 피드백의 도움으로) 문제를 해결할 수 있는지에 대한 합의가 없습니다. 앞으로 더 큰 시스템이 만들어지면 이것이 거대하고 잠재적으로 치명적인 문제가 될 것이라는 우려가 커지고 있습니다. 따라서 연구자들은 AI 시스템이 가치 정렬 및 보상 엔지니어링과 같은 인간 가치 및 목표와 일치하도록 보장하는 새로운 방법을 모색하고 있습니다. 그러나 이를 보장하는 것은 여전히 어려운 과제로 남아 있다. LLM의 안전성과 신뢰성 복잡한 실제 시나리오에서.
전문가들은 LLM이 어떻게 작동하는지 설명하는 데 어려움을 겪습니다.
전문가들은 아직 LLM의 내부 작동을 해석할 수 없습니다. 어떤 기술도 결과를 생성할 때 모델이 사용하는 지식, 추론 또는 목표의 종류를 만족스러운 방식으로 설명할 수 없습니다. 이러한 해석 가능성의 부족은 LLM 결정의 신뢰성과 공정성에 대한 우려를 불러일으킵니다. 또한 보다 투명하고 책임 있는 AI 모델 개발에 대한 추가 연구의 필요성을 강조합니다.
LLM은 인간만큼 유능합니다.
LLM은 주로 다음과 같은 교육을 받았지만 텍스트를 작성할 때 인간의 행동을 모방합니다., 그들은 많은 작업에서 우리를 능가할 잠재력을 가지고 있습니다. 이는 체스나 바둑을 할 때 이미 볼 수 있습니다. 이는 인간이 따라올 수 없는 속도로 방대한 양의 데이터를 분석하고 해당 분석을 기반으로 의사결정을 내리는 능력 때문입니다. 그러나 LLM은 여전히 인간이 가지고 있는 창의성과 직관력이 부족하여 많은 작업에 적합하지 않습니다.
LLM은 단순한 "만능 거래" 이상이어야 합니다.
LLM은 작성자의 가치나 인터넷에서 선택한 항목에 인코딩된 가치를 표현해서는 안 됩니다. 그들은 고정관념이나 음모론을 반복하거나 다른 사람의 기분을 상하게 하려고 해서는 안 됩니다. 대신 LLM은 문화적, 사회적 차이를 존중하면서 사용자에게 편파적이지 않고 사실에 입각한 정보를 제공하도록 설계되어야 합니다. 또한 이러한 표준을 지속적으로 충족하는지 확인하기 위해 정기적인 테스트 및 모니터링을 받아야 합니다.
모델은 사람들이 첫인상으로 생각하는 것보다 '똑똑하다'
첫인상을 기반으로 한 모델의 능력 추정은 종종 오해의 소지가 있습니다. 매우 자주 올바른 프롬프트를 제시하고, 모델을 제안하고, 예를 보여주면 훨씬 더 잘 대처하기 시작할 것입니다. 즉, 언뜻보기보다 "더 똑똑"합니다. 따라서 모델에 공정한 기회를 제공하고 최상의 성능을 발휘하는 데 필요한 리소스를 제공하는 것이 중요합니다. 올바른 접근 방식을 사용하면 부적절해 보이는 모델도 그 기능으로 우리를 놀라게 할 수 있습니다.
BIG-Bench 데이터 세트의 202개 작업 샘플에 초점을 맞추면(특별히 테스트하기 어렵게 만들어졌습니다.) 언어 모델 from 및 to), 일반적으로 (평균적으로) 모델은 규모가 커짐에 따라 품질이 향상되는 것을 보여주지만 개별적으로 작업의 측정항목은 다음을 수행할 수 있습니다.
- 점진적으로 개선하고,
- 획기적으로 개선하고,
- 바뀌지 않은 채로,
- 감소,
- 상관 관계를 나타내지 않습니다.
이 모든 것이 미래 시스템의 성능을 자신 있게 외삽하는 것을 불가능하게 만듭니다. 녹색 부분이 특히 흥미롭습니다. 바로 이 부분에서 품질 지표가 아무런 이유 없이 급격히 증가합니다.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
