تختبر شركة مايكروسوفت زر جديد في أحدث إصدار من Windows 11 Insider Preview يظهر عند تمرير مؤشر الماوس فوق تطبيق مفتوح في شريط المهام؛ ليتيح مشاركة محتوياته مع Copilot Vision.
وسيقوم Copilot بعد ذلك بمسح ما يظهر على الشاشة من هذا التطبيق، وتحليله، ويتيح مناقشة محتويات النافذة مع روبوت الدردشة الذكي من مايكروسوفت للحصول على مزيد من المعلومات، بما في ذلك تقديم دروس تعليمية.
بالطبع، لا يبدو أن مستخدمي ويندوز يطالبون بالمزيد من Copilot، فهناك بالفعل أزرار تظهر في برنامجي الرسام والمفكرة، وفي شريط المهام، وعلى لوحة المفاتيح، وعلى واجهة بعض أجهزة الكمبيوتر.
بل إن هناك ميزة Copilot أخرى أكثر فائدة في نفس نسخة ويندوز 11 التجريبية، وهي ترجمة النصوص على الشاشة.
أخيراً فقد قالت مايكروسوفت إنها “تجرب هذه الميزة في شريط المهام فقط”، لذا ليس من المفاجئ إذا تم إلغاؤها في إصدار قادم قبل إطلاقها للمستخدمين العاديين.
أطلقت مايكروسوفت تحديثًا لبرنامج Copilot Vision لمستخدمي Windows Insiders، يُتيح لأداة الذكاء الاصطناعي رؤية كل ما يظهر على الشاشة.
في السابق، كانت الأداة قادرة على عرض تطبيقين في آنٍ واحد وربطهما، ولكن مع هذا التغيير، يُمكنها عرض سطح المكتب بأكمله أو “أي نافذة متصفح أو تطبيق مُحددة”، وفقًا لمايكروسوفت.
على عكس Recall، الذي يُمكنه التقاط لقطات منتظمة تلقائيًا لما يظهر على شاشة جهاز الكمبيوتر، فإن استخدام Copilot Vision يُشبه مشاركة الشاشة أثناء مكالمة فيديو:
يُمكن تفعيل الميزة بالنقر على أيقونة النظارات في تطبيق Copilot واختيار سطح المكتب الذي تُريده.
وفقًا لمايكروسوفت، يُمكن لـ Copilot Vision “المساعدة في تحليل المحتوى، وتقديم رؤى ثاقبة، والإجابة على أسئلتك، وإرشادك خلاله بصوت عالٍ”.
وأضافت الشركة: “احصل على نصائح لتحسين مشروعك الإبداعي، أو مساعدة في تحسين سيرتك الذاتية، أو إرشادات أثناء استخدام لعبة جديدة”.
وبدأت مايكروسوفت اختبار Copilot Vision العام الماضي كميزة تُمكّنك من رؤية ما تشاهده أثناء تصفح الويب في Edge. كما يُمكن لـ Copilot Vision الإجابة على أسئلة حول ما تراه من خلال كاميرا هاتفك المحمول.
أعلنت مايكروسوفت رسميًا عن إطلاق ميزة Copilot Vision لجميع مستخدمي نظام ويندوز في الولايات المتحدة، لتصبح الآن متاحة مجانًا على نظامي Windows 10 وWindows 11، دون الحاجة إلى اشتراك في خدمة Copilot Pro.
ما هي ميزة Copilot Vision؟
Copilot Vision هي امتداد ذكي لمساعد مايكروسوفت المدعوم بالذكاء الاصطناعي، يتيح لك مشاركة شاشة تطبيقاتك أو نوافذ المتصفح مع Copilot، ليتمكن من رؤيتها وتحليل محتواها ومساعدتك في الوقت الفعلي. تقول مايكروسوفت:
“عند تفعيل Copilot Vision، يصبح بإمكانه أن يرى ما تراه ويتحدث معك حوله لحظة بلحظة. كأنك تملك زوجًا ثانيًا من العيون الرقمية.”
كيف تعمل Copilot Vision؟
تعمل Copilot Vision من خلال تطبيق Copilot الرسمي على ويندوز، ويمكن تفعيلها عبر أيقونة النظارات التي تتيح لك تحديد التطبيق أو النافذة التي ترغب بمشاركتها. تشبه طريقة العمل إلى حد كبير مشاركة الشاشة في تطبيق Microsoft Teams، مع فارق رئيسي وهو أن المشاركة اختيارية ومباشرة — أي أنك من يقرر متى وما الذي تريد مشاركته.
ما الذي يمكن لـ Copilot Vision فعله؟
إرشادك داخل التطبيقات المعقدة مثل Adobe Photoshop.
تحليل الصور وصفحات الويب التي تستعرضها.
الإجابة على الأسئلة السياقية بناءً على ما يظهر على شاشتك.
تقديم اقتراحات أو حلول فورية أثناء تصفحك أو عملك.
هل تشبه Copilot Vision ميزة Recall الجديدة؟
لا. على عكس Recall، والتي تقوم بالتقاط لقطات شاشة بشكل دوري وتلقائي، فإن Copilot Vision لا يسجل أي شيء إلا بعد إذنك ومشاركتك المباشرة. الخصوصية هنا تأخذ أولوية واضحة.
توفر Copilot Vision
متاحة الآن مجانًا لمستخدمي ويندوز 10 و11 في الولايات المتحدة.
أعلن مصطفى سليمان، الرئيس التنفيذي لشركة مايكروسوفت للذكاء الاصطناعي، عبر بلو سكاي اليوم أن ميزة Copilot Vision، وهي ميزة المساعد الذكي من مايكروسوفت، التي تستطيع تفسير ما يظهر على الشاشة والمساعدة في استخدام التطبيقات، متاحة الآن للاستخدام المجاني ضمن متصفح Edge.
وقال سليمان إنه إذا اختار المستخدم تفعيل هذه الميزة، فإن Copilot Vision “يمكنه حرفيًا رؤية ما يراه المستخدم على الشاشة”.
وقد يُبرز Copilot Vision أجزاءً من الشاشة للمساعدة في العثور على المعلومات ذات الصلة، ولكنه لن ينقر على الروابط أو يفعل أي شيء نيابةً عن المستخدم.
لا تزال ميزات Copilot Vision الأوسع نطاقًا، والممتدة على مستوى النظام، مقتصرة على مشتركي Copilot Pro.
لتجربة Copilot Vision، افتح هذا الرابط من موقع مايكروسوفت على متصفح Edge، سيُظهر لك هذا إشعارًا بالاشتراك في الميزة، وبمجرد منح الإذن، يمكنك فتح الشريط الجانبي لـ Copilot أثناء تصفحك لموقع ويب، والنقر على أيقونة الميكروفون، لتبدأ جلسة Vision، مع رنين وتغيير لون متصفحك.
وفقًا لمايكروسوفت، تُسجل الشركة ردود Copilot عليك، لكنها لا تجمع مدخلاتك أو صورك أو محتوى صفحتك أثناء جلسة Copilot Vision. عندما تكون مستعدًا للتوقف عن مشاركة شاشتك مع Copilot، يمكنك إما إنهاء الجلسة أو إغلاق نافذة المتصفح.
أعلنت مايكروسوفت عن بدء اختبار ميزة Copilot Vision الجديدة اليوم، وهي جزء من تطورات الذكاء الاصطناعي في متصفح Microsoft Edge. تم الكشف عن هذه الميزة لأول مرة في أكتوبر، وتتيح للمساعد الذكي من مايكروسوفت رؤية الصفحات التي تتصفحها، وفهم النصوص والصور والمحتوى الموجود عليها، مما يوفر تجربة تصفح تفاعلية ومفيدة.
وصرّحت فريق Copilot في منشور مدونة: “عندما تختار تفعيل Copilot Vision، ستتمكن من التصفح بشكل مشترك مع المساعد الذي يقرأ الصفحات معك ويعمل على حل المشكلات التي تواجهها.”
الميزة اختيارية بالكامل، حيث يجب على المستخدم منح الإذن للمساعد ليتمكن من قراءة صفحات الويب. وخلال العرض الأولي للميزة، أظهرت مايكروسوفت كيف يمكن لـ Copilot قراءة الصور من مجموعة موجودة على OneDrive وحتى فك شيفرة الوصفات المكتوبة بخط اليد وتقديم نصائح طهي. يمكن أيضًا استخدام هذه الميزة أثناء التسوق عبر الإنترنت للحصول على توصيات للمنتجات.
تجربة محدودة لمشتركي Copilot Pro
حاليًا، يتم اختبار Copilot Vision على نطاق محدود ضمن برنامج Copilot Labs، وهي متاحة فقط لمشتركي Copilot Pro في الولايات المتحدة. أكدت مايكروسوفت أنها تأخذ بعين الاعتبار المخاوف المتعلقة بالخصوصية والأمان، خاصة وأن الميزة تتيح للذكاء الاصطناعي قراءة المحتوى الذي يظهر على شاشة المتصفح.
وأوضح فريق Copilot: “مع بدء طرح هذه الميزة، سيتفاعل Copilot Vision مع مجموعة محددة من المواقع الإلكترونية فقط. وبمرور الوقت، سنوسع هذه القائمة بحذر. نؤكد أن Vision لا يقوم بجمع أو تخزين أي بيانات من الناشرين لتدريب النماذج الخاصة بنا. نحن نضع حقوق النشر، وخصوصية المستخدم، وسلامته في المقام الأول.”
الخطط المستقبلية
سيتمكن عدد محدود من مشتركين Copilot Pro من الوصول إلى Copilot Vision اليوم، حيث تسعى مايكروسوفت للاستماع إلى الملاحظات وتحسين التجربة. ومن المقرر أن توسع الشركة الوصول إلى هذه الميزة تدريجيًا لتشمل المزيد من المشتركين والمواقع الإلكترونية.
كشفت شركة مايكروسوفت Microsoft اليوم عن تحديثات كبيرة على مساعد الذكاء الاصطناعي الخاص بها Copilot، ليصبح أكثر تخصّصاً.
وتشمل هذه التحديثات الجديدة وضع مقدم الأخبار الافتراضي لقراءة العناوين الرئيسية، وقدرة Copilot على رؤية ما تنظر إليه، وميزة صوتية للتحدث إلى Copilot بطريقة طبيعية، تشبه إلى حد كبير وضع الصوت المتقدم الخاص بـ OpenAI.
تصميم جديد لـ Copilot
كما تم تحديث تصميم Copilot على كل من الهاتف المحمول والويب وتطبيق Windows المخصص لتجربة مستخدم تعتمد بشكل أكثر سلاسة.
وستتضمن أيضاً صفحة Copilot Discover المخصصة والتي تعد أكثر فائدة وجذابة من مطالبة إدخال النص لبرنامج الدردشة الآلية.
تجربة Copilot على الهاتف المحمول
وستقوم الشركة بتخصيص صفحة Copilot الرئيسية هذه بالكامل استنادًا إلى سجل المحادثات، وبمرور الوقت، ستتضمن عمليات بحث مفيدة ونصائح ومعلومات ذات صلة.
الدردشة مع Copilot بطريقة طبيعية
تعمل شركة مايكروسوفت Microsoft على تكثيف عملها على رؤيتها لرفيق الذكاء الاصطناعي للجميع من خلال إضافة إمكانات صوتية تشبه إلى حد كبير ما قدمته OpenAI في ChatGPT.
يمكنك الآن الدردشة مع مساعد الذكاء الاصطناعي وطرح الأسئلة عليه ومقاطعته كما تفعل أثناء محادثة مع صديق أو زميل، حيث يملك الآن أربعة خيارات صوتية للاختيار من بينها.
ميزة Copilot Vision
أما الميزة الثانية فهي Copilot Vision التي تسمح لمساعد الذكاء الاصطناعي برؤية ما تراه على صفحة الويب التي تشاهدها.
ويمكن للمستخدم طرح أسئلة عليه حول النص والصور والمحتوى الذي تشاهده، وبدمجه مع ميزات Copilot Voice الجديدة، سوف يستجيب بطريقة طبيعية.
ستكون جلسات Copilot Vision اختيارية وسريعة الزوال، وتقول الشركة إنها لن تخزن أي محتوى يتعامل معه Copilot Vision أو استخدامه للتدريب.
لن تعمل هذه التجربة الجديدة على جميع مواقع الويب في الوقت الحالي، حيث وضعت قيودًا على أنواع مواقع الويب التي يعمل معها Copilot Vision.
كما أنها لن تعمل على المحتوى الحساس والمحمي بنظام حظر الاشتراك غير المدفوع أيضًا.
ويتظهر إحدى العروض التوضيحية استخدام Copilot Vision للنظر إلى صور الوصفات القديمة المكتوبة بخط اليد، مما يساعد على شرح ماهية الطعام وتقديم نصائح حول المدة التي يستغرقها إعداد الوصفة.
ميزة الأخبار اليومية Copilot Daily
الميزة الثالثة هي Copilot Daily، والذي يعتبر بمثابة ملخص صوتي للأخبار والطقس يقرأه Copilot كما لو كان مذيع CNN.
لقد تم تصميمه كمقطع قصير يمكنك الاستماع إليه في الصباح، ويستخدم فقط المحتوى من موفري الأخبار والطقس الذين سمحوا لـ Copilot باستخدام المحتوى الخاص بهم.
سيستطيع Copilot الآن التعامل مع الأسئلة الأكثر تعقيدًا بفضل أحدث نماذج OpenAI، وستسمح للمساعد بقضاء المزيد من الوقت للرد، مما يسمح له بتقديم إجابات خطوة بخطوة للأسئلة المعقدة.
لقد تم تصميمه ليعمل بشكل أفضل عند مقارنة خيارين جنبًا إلى جنب.
لا تزال ميزة Think Deeper في مرحلة مبكرة من التطوير، وتقوم Microsoft بتضمينها في Copilot Labs، وهي طريقة جديدة لاختبار الميزات التجريبية التي لا تزال الشركة تعمل على تطويرها.
ستتوفر تجربة Copilot المحدثة اليوم في تطبيقات iOS و Android على الأجهزة المحمولة، وعلى الويب على موقع copilot.microsoft.com، ومن خلال تطبيق Copilot Windows.
ستكون Copilot Voice متاحًا في البداية باللغة الإنجليزية في أستراليا وكندا ونيوزيلندا والمملكة المتحدة والولايات المتحدة، قبل التوسع إلى المزيد من المناطق واللغات في المستقبل.
يقتصر برنامج Copilot Daily على الولايات المتحدة والمملكة المتحدة قبل أن يتوسع في أماكن أخرى، بينما يقتصر برنامج Copilot Vision على عدد من مشتركي Copilot Pro في الولايات المتحدة.
