YaRN: نهج جديد لتوسيع السياق في LLaMa-2 ما يصل إلى 128 ألف رمز
في سطور
YaRN، وهي طريقة جديدة لتوسيع السياق في نماذج اللغة، تستخدم تقنية RoPE للتشفير الموضعي لاستيعاب السياقات الكبيرة.
إنه يتضمن معلمة درجة الحرارة وقابل للتكيف مع النماذج الموجودة مثل Hugging Face.
على الرغم من أنه يتطلب إعادة التدريب على البيانات التي تحتوي على سياقات موسعة، فإن YaRN يقدم رؤى قيمة وأداء محسنًا في مختلف مهام معالجة اللغة الطبيعية.
طريقة جديدة تعرف باسم غزل (ظهر حبل آخر للمحولات)، مما يوفر إمكانية توسيع قدرات السياق في نماذج اللغة الكبيرة (LLMs) باستخدام تقنية الحبل للترميز الموضعي وهذا النهج، كما هو مفصل في مقال حديث، يوفر الوسائل اللازمة لذلك قم بتوسيع السياق حتى 64 ألفًا أو حتى 128 ألفًا من الرموز المميزة. ويعتبر هذا الابتكار ملحوظًا بشكل خاص لأنه يلبي الطلب المتزايد على النماذج التي يمكنها استيعاب سياق كبير، مثل النصوص الموسعة أو تواريخ الرسائل الطويلة.
| مقالات ذات صلة: ميتا تكشف النقاب عن برنامج مفتوح المصدر يغير قواعد اللعبة LLaMa-2-الدردشة بأداء غير مسبوق |
تتضمن طريقة RoPE نواقل دوارة في الفضاء بزوايا محددة بناءً على مواقعها، وتستخدم بشكل خاص في نماذج مثل LLaMa-2. تختلف طريقة YaRN عن التعديلات السابقة، وذلك بإضافة مكون جديد تمامًا: معلمة درجة الحرارة التي تعتبر حاسمة في التأثير على مدى سرعة انتباه الأشخاص بعد عملية softmax. يعد هذا التكامل للتحكم في درجة الحرارة مهمًا لأنه يحافظ على البنية الأصلية لآليات الانتباه ويمنع الحاجة إلى إجراء تغييرات كبيرة على قاعدة التعليمات البرمجية الموجودة.
أحد الجوانب المثيرة للاهتمام في تنفيذ YaRN هو قدرتها على التكيف مع النماذج الحالية المستضافة على منصات مثل Hugging Face. ومن خلال تسخير قوة هذه النماذج المتاحة بسهولة، يمكن للباحثين والممارسين تجربة واستكشاف طريقة YaRN بسهولة نسبية.
| المقاس | السياق | الرابط |
|---|---|---|
| 7B | 64K | NousResearch/الغزل-Llama-2-7ب-64ك |
| 7B | 128K | NousResearch/الغزل-Llama-2-7ب-128ك |
| 13B | 64K | NousResearch/الغزل-Llama-2-13ب-64ك |
| 13B | 128K | NousResearch/الغزل-Llama-2-13ب-128ك |
ومن الجدير بالذكر أن YaRN، مثل التقنيات الجديدة الأخرى، يتطلب إعادة التدريب على البيانات التي تحتوي على سياقات موسعة، وإن كان بكمية متواضعة - حوالي 0.1٪ من بيانات التدريب المسبق. ويتعلق الاعتبار الأساسي للمضي قدمًا بالموارد الحسابية اللازمة للاستدلال بكفاءة باستخدام نماذج السياق الموسع هذه، وهو الجانب الذي سيلعب دورًا محوريًا في التنفيذ العملي لهذا النهج المبتكر.
- يفتح YaRN الباب أمام فهم سياقي أكثر شمولاً، ويقدم تطبيقات تشمل مجالات مختلفة، بدءًا من تحليل الأدبيات وحتى الذكاء الاصطناعي للمحادثة. مع استمرار مجتمع الذكاء الاصطناعي في استكشاف طرق تعزيز قدرات النموذج، فإن النهج الدقيق الذي تتبعه YaRN لتوسيع السياق يحمل القدرة على تقديم رؤى قيمة وتحسين الأداء في مختلف مهام معالجة اللغة الطبيعية.
- في يوليو، لقد تم الافراج عن ميتا LLaMa-2-نماذج الدردشة، نموذج لغة مفتوح المصدر يغير قواعد اللعبة مع 70 مليار معلمة، قابلة للمقارنة والمتفوقة في الأداء GPT-3.5 على معايير معينة. النموذج ملائم تجاريًا، وتم تدريبه مسبقًا على رموز 2T، ويمتلك درجات قوية في MMLU. إنه النموذج الأول من حيث الحجم الذي تم ضبطه بدقة باستخدام RLHF، مما يجعله مجانيًا تمامًا للاستخدام التجاري. LLaMa-2-يعرض Chat أداءً استثنائيًا في المسائل الرياضية وهو متوفر بأحجام مختلفة.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء مسؤولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
