مقدمة المشروع (جرب النسخة عبر الإنترنت الآن!)
KrillinAI هو حل متعدد الاستخدامات لتوطين الصوت والفيديو وتعزيزه تم تطويره بواسطة Krillin AI. هذه الأداة البسيطة ولكن القوية تدمج ترجمة الفيديو، والتعليق الصوتي، واستنساخ الصوت، وتدعم كل من التنسيقات الأفقية والرأسية لضمان عرض مثالي على جميع المنصات الرئيسية (Bilibili، Xiaohongshu، Douyin، WeChat Video، Kuaishou، YouTube، TikTok، إلخ). مع سير عمل شامل، يمكنك تحويل المواد الخام إلى محتوى جاهز للاستخدام عبر المنصات ببضع نقرات فقط.
🎯 بدء بنقرة واحدة: لا حاجة لتكوين بيئة معقدة، تثبيت تلقائي للاعتماديات، جاهز للاستخدام على الفور، مع إصدار جديد لسطح المكتب لتسهيل الوصول!
📥 الحصول على الفيديو: يدعم تنزيلات yt-dlp أو تحميل الملفات المحلية
📜 التعرف الدقيق: التعرف على الكلام بدقة عالية يعتمد على Whisper
🧠 التقسيم الذكي: تقسيم وتنسيق الترجمة باستخدام LLM
🔄 استبدال المصطلحات: استبدال المصطلحات المهنية بنقرة واحدة
🌍 ترجمة احترافية: ترجمة LLM مع سياق للحفاظ على المعاني الطبيعية
🎙️ استنساخ الصوت: يقدم نغمات صوتية مختارة من CosyVoice أو استنساخ صوت مخصص
🎬 تركيب الفيديو: يعالج تلقائيًا مقاطع الفيديو الأفقية والرأسية وتنسيق الترجمة
💻 عبر المنصات: يدعم Windows وLinux وmacOS، ويوفر إصدارات لكل من سطح المكتب والخادم
تظهر الصورة أدناه تأثير ملف الترجمة الذي تم إنشاؤه بعد استيراد فيديو محلي مدته 46 دقيقة وتنفيذه بنقرة واحدة، دون أي تعديلات يدوية. لا توجد أي فوات أو تداخلات، والتقسيم طبيعي، وجودة الترجمة عالية جدًا.
subtitle_translation.mp4 |
tts.mp4 |
agi.mp4 |
جميع النماذج المحلية في الجدول أدناه تدعم التثبيت التلقائي للملفات التنفيذية + ملفات النموذج؛ كل ما عليك هو الاختيار، وKlic سيتولى كل شيء من أجلك.
| مصدر الخدمة | المنصات المدعومة | خيارات النموذج | محلي/سحابي | ملاحظات |
|---|---|---|---|---|
| OpenAI Whisper | جميع المنصات | - | سحابي | سرعة عالية وتأثير جيد |
| FasterWhisper | Windows/Linux | tiny/medium/large-v2 (الموصى به medium+) |
محلي | سرعة أعلى، بدون تكلفة خدمة سحابية |
| WhisperKit | macOS (M-series فقط) | large-v2 |
محلي | تحسين محلي لشرائح Apple |
| WhisperCpp | جميع المنصات | large-v2 |
محلي | يدعم جميع المنصات |
| Alibaba Cloud ASR | جميع المنصات | - | سحابي | يتجنب مشاكل الشبكة في الصين |
✅ متوافق مع جميع خدمات نموذج اللغة الكبير السحابية/المحلية التي تتوافق مع مواصفات واجهة برمجة تطبيقات OpenAI، بما في ذلك على سبيل المثال لا الحصر:
- OpenAI
- Gemini
- DeepSeek
- Tongyi Qianwen
- نماذج مفتوحة المصدر تم نشرها محليًا
- خدمات واجهة برمجة التطبيقات الأخرى المتوافقة مع تنسيق OpenAI
- خدمة صوت Alibaba Cloud
- OpenAI TTS
اللغات المدخلة المدعومة: الصينية، الإنجليزية، اليابانية، الألمانية، التركية، الكورية، الروسية، الماليزية (تزداد باستمرار)
اللغات المدعومة للترجمة: الإنجليزية، الصينية، الروسية، الإسبانية، الفرنسية، و101 لغة أخرى
يمكنك طرح الأسئلة على Deepwiki of KrillinAI. يقوم بفهرسة الملفات في المستودع، لذا يمكنك العثور على الإجابات بسرعة.
أولاً، قم بتنزيل الملف التنفيذي الذي يتناسب مع نظام جهازك من الإصدار، ثم اتبع الدليل أدناه للاختيار بين إصدار سطح المكتب أو الإصدار غير المكتبي. ضع تحميل البرنامج في مجلد فارغ، حيث أن تشغيله سيولد بعض الدلائل، والحفاظ عليه في مجلد فارغ سيسهل الإدارة.
【إذا كان إصدار سطح المكتب، أي ملف الإصدار الذي يحتوي على "desktop"، انظر هنا】 تم إصدار إصدار سطح المكتب حديثًا لمعالجة مشكلات المستخدمين الجدد الذين يواجهون صعوبة في تحرير ملفات التكوين بشكل صحيح، وهناك بعض الأخطاء التي يتم تحديثها باستمرار.
- انقر نقرًا مزدوجًا على الملف لبدء استخدامه (يتطلب إصدار سطح المكتب أيضًا تكوينًا داخل البرنامج)
【إذا كان الإصدار غير المكتبي، أي ملف الإصدار بدون "desktop"، انظر هنا】 الإصدار غير المكتبي هو الإصدار الأولي، والذي يحتوي على تكوين أكثر تعقيدًا ولكنه مستقر في الوظائف ومناسب للنشر على الخادم، حيث يوفر واجهة مستخدم بتنسيق ويب.
- أنشئ مجلد
configداخل المجلد، ثم أنشئ ملفconfig.tomlفي مجلدconfig. انسخ محتويات ملفconfig-example.tomlمن دليلconfigفي الشيفرة المصدرية إلىconfig.toml، واملأ معلومات التكوين الخاصة بك وفقًا للتعليقات. - انقر نقرًا مزدوجًا أو نفذ الملف التنفيذي في الطرفية لبدء الخدمة
- افتح متصفحك وأدخل
http://127.0.0.1:8888لبدء استخدامه (استبدل 8888 بالمنفذ الذي حددته في ملف التكوين)
【إذا كان إصدار سطح المكتب، أي ملف الإصدار الذي يحتوي على "desktop"، انظر هنا】 بسبب مشكلات التوقيع، لا يمكن حاليًا تشغيل إصدار سطح المكتب بنقرة مزدوجة أو تثبيته عبر dmg؛ تحتاج إلى الوثوق بالبرنامج يدويًا. الطريقة هي كما يلي:
- افتح الطرفية في الدليل حيث يوجد الملف التنفيذي (افترض أن اسم الملف هو KrillinAI_1.0.0_desktop_macOS_arm64)
- نفذ الأوامر التالية بالترتيب:
sudo xattr -cr ./KrillinAI_1.0.0_desktop_macOS_arm64
sudo chmod +x ./KrillinAI_1.0.0_desktop_macOS_arm64
./KrillinAI_1.0.0_desktop_macOS_arm64
【إذا كان الإصدار غير المكتبي، أي ملف الإصدار بدون "desktop"، انظر هنا】 هذا البرنامج غير موقع، لذا عند التشغيل على macOS، بعد إكمال تكوين الملف في "الخطوات الأساسية"، تحتاج أيضًا إلى الوثوق بالبرنامج يدويًا. الطريقة هي كما يلي:
-
افتح الطرفية في الدليل حيث يوجد الملف التنفيذي (افترض أن اسم الملف هو KrillinAI_1.0.0_macOS_arm64)
-
نفذ الأوامر التالية بالترتيب:
sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64 sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64 ./KrillinAI_1.0.0_macOS_arm64سيبدأ هذا الخدمة
يدعم هذا المشروع نشر Docker؛ يرجى الرجوع إلى تعليمات نشر Docker
استنادًا إلى ملف التكوين المقدم، إليك قسم "مساعدة التكوين (يجب قراءته)" المحدث لملف README الخاص بك:
ملف التكوين مقسم إلى عدة أقسام: [app]، [server]، [llm]، [transcribe]، و[tts]. تتكون المهمة من التعرف على الكلام (transcribe) + ترجمة النموذج الكبير (llm) + خدمات الصوت الاختيارية (tts). سيساعدك فهم ذلك على فهم ملف التكوين بشكل أفضل.
أسهل وأسرع تكوين:
لترجمة الترجمة فقط:
- في قسم
[transcribe]، قم بتعيينprovider.nameإلىopenai. - بعد ذلك، ستحتاج فقط إلى ملء مفتاح واجهة برمجة تطبيقات OpenAI الخاص بك في كتلة
[llm]لبدء إجراء ترجمات الترجمة. يمكن ملءapp.proxyوmodelوopenai.base_urlحسب الحاجة.
تكلفة متوازنة، سرعة، وجودة (باستخدام التعرف على الكلام المحلي):
- في قسم
[transcribe]، قم بتعيينprovider.nameإلىfasterwhisper. - قم بتعيين
transcribe.fasterwhisper.modelإلىlarge-v2. - املأ تكوين نموذج اللغة الكبير الخاص بك في كتلة
[llm]. - سيتم تنزيل النموذج المحلي المطلوب وتثبيته تلقائيًا.
تكوين تحويل النص إلى كلام (TTS) (اختياري):
- تكوين TTS اختياري.
- أولاً، قم بتعيين
provider.nameتحت قسم[tts](مثلaliyunأوopenai). - ثم، املأ كتلة التكوين المقابلة لمزود الخدمة المحدد. على سبيل المثال، إذا اخترت
aliyun، يجب عليك ملء قسم[tts.aliyun]. - يجب اختيار رموز الصوت في واجهة المستخدم بناءً على وثائق المزود المحدد.
- ملاحظة: إذا كنت تخطط لاستخدام ميزة استنساخ الصوت، يجب عليك اختيار
aliyunكمزود TTS.
تكوين Alibaba Cloud:
- للحصول على تفاصيل حول الحصول على
AccessKeyوBucketوAppKeyاللازمة لخدمات Alibaba Cloud، يرجى الرجوع إلى تعليمات تكوين Alibaba Cloud. تم تصميم الحقول المتكررة لـ AccessKey، إلخ، للحفاظ على هيكل تكوين واضح.
يرجى زيارة الأسئلة المتكررة
- لا تقدم ملفات غير مفيدة، مثل .vscode، .idea، إلخ؛ يرجى استخدام .gitignore لتصفية هذه الملفات.
- لا تقدم config.toml؛ بدلاً من ذلك، قدم config-example.toml.
- انضم إلى مجموعة QQ الخاصة بنا لطرح الأسئلة: 754069680
- تابع حساباتنا على وسائل التواصل الاجتماعي، Bilibili، حيث نشارك محتوى عالي الجودة في مجال تكنولوجيا الذكاء الاصطناعي كل يوم.