2023 년 10 월 12 일

한 연구원에 따르면 오늘날의 대형 언어 모델은 소형 모델이 될 것이라고 합니다. OpenAI

게시 날짜: 12년 2023월 3일 오전 05시 12분 업데이트 날짜: 2023년 3월 08일 오전 XNUMX시 XNUMX분

수정 및 사실 확인 날짜: 12년 2023월 3일 오전 05시 XNUMX분

정형원씨는 구글 브레인(Google Brain)에 근무했으며 현재는 AI 연구원으로 활동하고 있습니다. OpenAI 팀은 45년 대규모 언어 모델의 세계를 탐구하는 2023분간의 연설을 통해 시사점을 주는 연설을 했습니다. 정은 해당 분야 경험이 있습니다. 그는 Google 논문의 첫 번째 저자였습니다.스케일링 명령어 - 미세 조정된 언어 모델,” 지침을 따르도록 대규모 언어 모델을 훈련할 수 있는 방법을 검토합니다.

정씨는 광범위한 언어 모델의 세계가 역동적이라고 강조합니다. LLM의 세계에서는 기본 가정이 일반적으로 안정적으로 유지되는 기존 분야와 달리 지침 원칙이 끊임없이 진화하고 있습니다. 다가오는 세대의 모델에서는 현재 불가능하거나 실용적이지 않다고 생각되었던 것이 가능해질 수도 있습니다. 그는 LLM 기능에 대한 대부분의 주장을 "현재로서는"으로 시작하는 것의 중요성을 강조합니다. 모델은 작업을 수행할 수 있습니다. 아직 그렇게 하지 않았을 뿐입니다.

오늘날의 대형 모델은 불과 몇 년 안에 소형 모델이 될 것입니다.
정형원 님, OpenAI

세심한 문서화와 재현성의 필요성 AI 연구 정 회장의 연설에서 배울 수 있는 가장 중요한 교훈 중 하나이다. 현장이 발전함에 따라 진행 중인 작업을 철저하게 문서화하는 것이 중요합니다. 이 전략은 실험을 신속하게 복제하고 재검토할 수 있도록 보장하여 연구자가 이전 작업을 기반으로 구축할 수 있도록 합니다. 이러한 실천을 통해 초기 연구에서는 실용적이지 않았던 역량이 미래에는 발전할 수 있음을 인정합니다.

Chung은 데이터와 모델 병렬성의 복잡성을 설명하는 데 강연의 일부를 할애했습니다. AI의 기술적 측면을 더 깊이 탐구하는 데 관심이 있는 사람들을 위해 이 섹션에서는 이러한 병렬 처리 기술의 내부 작동에 대한 귀중한 통찰력을 제공합니다. 최적화를 위해서는 이러한 메커니즘을 이해하는 것이 중요합니다. 대규모 모델 훈련.

Chung은 LLM 사전 훈련에 사용되는 현재 목적 함수인 최대 가능성(Maximum Likelihood)이 용량의 10,000배와 같은 진정한 대규모 규모를 달성하는 데 병목 현상이 발생한다고 가정합니다. GPT-4. 기계 학습이 진행됨에 따라 수동으로 설계된 손실 기능은 점점 더 제한됩니다.

정 교수는 AI 개발의 다음 패러다임은 별도의 알고리즘을 통한 학습 기능을 제시한다. 이 접근 방식은 아직 초기 단계이지만 현재의 제약을 넘어서는 확장성을 보장합니다. 그는 또한 극복해야 할 과제가 남아 있지만 규칙 모델링을 통한 인간 피드백 강화 학습(RLHF)과 같은 지속적인 노력을 이러한 방향의 단계로 강조합니다.

태그 :

책임 부인

줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.

저자에 관하여

Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.

더 많은 기사

다미르 얄랄로프