كل المشاريع
معالجة اللغاتذكاء اصطناعي توليدي
توليد الشعر — BERT / GPT-2 / T5 مضبوط دقيقاً
ضبط دقيق لـ BERT وGPT-2 وT5 على مجموعة شعرية للتوليد الإبداعي. 10 نقاط تفتيش محفوظة. تحليل تنوع المفردات لكل شاعر. Beam search + عينات درجة الحرارة. لوحة تقارن جميع المعماريات الـ 3.
3 (BERT/GPT-2/T5)
Models fine-tuned
10
Saved checkpoints
Beam + temperature
Generation approach
Prompt-based
T5 conditioning
مجموعة البيانات
مؤسسة الشعر: أكثر من 10,000 قصيدة، حقب وأساليب متنوعة
المنهجية
ضبط دقيق لـ BERT (LM مقنّع) + GPT-2 (سببي) + T5 (seq2seq) على مجموعة الشعر
المكدس التقني
PythonPyTorchHuggingFace TransformersGPT-2BERTT5Tokenizers
الكلمات المفتاحية
GPT-2BERTT5Fine-tuningPoetryHuggingFaceBeam SearchLanguage Model
المرئيات5 مخططات
التعمق
خط أنابيب توليد الشعر متعدد النماذج الذي يضبط بدقة ثلاث بنى محول على مجموعة Poetry Foundation.
مجموعة البيانات مئات الشعراء عبر حقب وأساليب متعددة. رموز خاصة [POEM_START] / [POEM_END]. مُجزِّء خاص لكل نموذج.
ثلاث بنى محول مضبوطة بدقة
| النموذج | النوع | نقاط التفتيش | الأسلوب |
|---|---|---|---|
| BERT | مشفِّر (LM مقنّع) | 3 | التنبؤ بالرمز المقنّع → توليد بالملء |
| GPT-2 | مفكِّك (LM سببي) | 3 | توليد ذاتي التراجع يسار→يمين |
| T5 | مشفِّر-مفكِّك (seq2seq) | 4 | توليد مشروط بالتوجيه |
10 نقاط تفتيش محفوظة مع أوزان كاملة، مُجزِّء وحالة تدريب.
استراتيجيات التوليد
| الاستراتيجية | أسلوب المخرجات |
|---|---|
| فك تشفير جشع | حتمي، متكرر أحياناً |
| Beam search (k=4) | أكثر تماسكاً |
| أخذ عينات بدرجة الحرارة (T=0.7) | إبداعي ومُتحكَّم به |
| أخذ عينات top-k (k=50) | أفضل توازن جودة + تنوع |
GPT-2 يُنتج أفضل شعر حر. T5 يتعامل أفضل مع التوجيهات الموضوعية. درجة حرارة منخفضة → وزن كلاسيكي؛ مرتفعة → صور سريالية.