Sony IMX378: انهيار شامل لجهاز استشعار البكسل من Google وميزاته

نظرة عامة على IMX378

لقد تواصلنا مع Sony لمحاولة معرفة المزيد عن مستشعر IMX378 الذي تستخدمه هواتف Google Pixel و Pixel XL القادمة ، بالإضافة إلى Xiaomi Mi 5S. لسوء الحظ ، لم تتمكن Sony من توزيع ورقة البيانات لمستشعر Exmor RS IMX378 حتى الآن ، لكنها كانت مفيدة للغاية ، وتمكنت من تزويدنا ببعض المعلومات التي لم يتم إصدارها سابقًا حول IMX378.

أولاً ، الاسم نفسه كان خطأ. على الرغم من الشائعات التي تفيد بأنها ستكون جزءًا من خط Exmor R لمستشعرات CMOS الخلفية ذات الإضاءة الخلفية (BSI) مثل IMX377 قبل استخدامه في Nexus 5X و Nexus 6P ، فقد أخبرنا اتصالنا في Sony بأن IMX378 سيكون بدلاً من ذلك تعتبر جزءًا من خط Exmor RS من سوني لأجهزة استشعار مكدس BSI CMOS.

على الرغم من أن العديد من الأشياء ظلت كما هي من IMX377 إلى IMX378 ، بما في ذلك حجم البيكسل (1.55 ميكرون) وحجم المستشعر (7.81 مم) ، إلا أنه تمت إضافة ميزات رئيسية زوجين. وهو الآن تصميم BSI CMOS مكدس ، ولديه PDAF ، ويضيف تقنية SME-HDR من سوني ، ولديه دعم أفضل لمقاطع الفيديو عالية السرعة (الحركة البطيئة).

مكدسة BSI المكمل

الإضاءة الخلفية بحد ذاتها هي ميزة مفيدة للغاية أصبحت قياسية تقريبًا في الهواتف الذكية الرائدة خلال السنوات القليلة الماضية ، بدءًا من HTC Evo 4G في عام 2010. فهي تتيح للكاميرا التقاط مزيد من الضوء (بتكلفة المزيد من الضوضاء) بواسطة تحريك بعض الهيكل الذي كان يجلس تقليديا أمام الثنائي الضوئي على أجهزة استشعار مضيئة أمامه.

من المثير للدهشة ، على عكس معظم تقنيات الكاميرا ، أن الإضاءة الخلفية بدأت في الظهور في الأصل في الهواتف قبل DSLRs ، ويرجع الفضل في ذلك إلى حد كبير إلى الصعوبات في إنشاء أجهزة استشعار BSI أكبر. أول جهاز استشعار BSI APS-C كان Samsung S5KVB2 الذي تم العثور عليه في كاميرا NX1 الخاصة به من عام 2014 ، وكان أول جهاز استشعار كامل الإطار هو Sony Exmor R IMX251 الذي تم العثور عليه في Sony α7R II من العام الماضي.

تأخذ تقنية BSI CMOS مكدسة هذه الخطوة إلى الأمام عن طريق نقل المزيد من الدوائر من الطبقة الأمامية إلى الركيزة الداعمة خلف الثنائيات الضوئية. لا يسمح هذا فقط لسوني بتقليل حجم مستشعر الصورة بشكل كبير (مما يسمح بمستشعرات أكبر في نفس البصمة) ، بل يسمح أيضًا لسوني بطباعة البيكسلات والدوائر بشكل منفصل (حتى في عمليات التصنيع المختلفة) ، مما يقلل من خطر العيوب ، تحسين الغلة ، والسماح لمزيد من التخصص بين الثنائيات الضوئية والدوائر الداعمة.

PDAF

يضيف IMX378 التركيز التلقائي للكشف عن الطور ، والذي لم تدعمه هواتف Nexus العام الماضي و IMX377. يسمح للكاميرا باستخدام الاختلافات في شدة الضوء بفعالية بين نقاط مختلفة على المستشعر لتحديد ما إذا كان الكائن الذي تحاول الكاميرا التركيز عليه يقع أمام أو خلف نقطة التركيز ، وضبط المستشعر وفقًا لذلك. يعد هذا تحسينًا كبيرًا من حيث السرعة والدقة مقارنةً بالتركيز التلقائي التقليدي المستند إلى التباين والذي رأيناه في العديد من الكاميرات في الماضي. نتيجةً لذلك ، رأينا انفجارًا مطلقًا للهواتف التي تستخدم PDAF ، وأصبحت الكلمة الطنانة التسويقية الضخمة التي تعتبر بمثابة عنصر أساسي في تسويق الكاميرات في جميع أنحاء الصناعة.

على الرغم من أن التركيز ليس سريعًا تمامًا مثل Dual Photodiode PDAF الذي يتميز به Samsung Galaxy S7 (المعروف أيضًا باسم "Dual Pixel PDAF" و "Duo Pixel Autofocus" ) ، والذي يسمح باستخدام كل بكسل واحد للكشف عن الطور عن طريق تضمين وحدتي صور ضوئية لكل بكسل ، يجب أن يكون دمج PDAF وضبط تلقائي للصورة بالليزر مزيجًا قويًا.

معدل تأطير عالي

كان هناك الكثير من الحديث في الآونة الأخيرة حول الكاميرات ذات معدل الإطار العالي (سواء بالنسبة لتطبيقات المستهلك أو في صناعة الأفلام الاحترافية). يمكن استخدام القدرة على التقاط الصور بمعدلات إطارات أعلى لإنشاء مقاطع فيديو سلسة بشكل لا يصدق بالسرعة العادية (والتي يمكن أن تكون رائعة للرياضات وغيرها من السيناريوهات عالية السرعة) ولإنشاء بعض مقاطع الفيديو المثيرة للاهتمام حقًا عند إبطاء كل شيء.

لسوء الحظ ، من الصعب للغاية تصوير الفيديو بمعدلات إطارات أعلى ، وحتى عندما يتمكن مستشعر الكاميرا من التصوير بمعدلات إطارات أعلى ، فقد يكون من الصعب على معالج إشارات الصور في الهاتف مواكبة ذلك. لهذا السبب ، في حين أن IMX377 المستخدم في Nexus 5X و 6P يمكنه تصوير فيديو بدقة 720 بكسل بسرعة 300 هرتز و 1080 بكسل فيديو بسرعة 120 هرتز ، لم نشاهد سوى 120 هرتز 720 بكسل من Nexus 5X و 240 هرتز 720p من 6P. كان IMX377 قادرًا أيضًا على إنتاج 60 هرتز 4 كيلو فيديو ، على الرغم من أن أجهزة Nexus تقتصر على 30 هرتز.

يمكن لهواتف Pixel على حد سواء توفير ما يصل إلى 120 هرتز بسرعة 1080 بكسل وفيديو 240 هرتز 720 بكسل بفضل التحسينات المتعلقة بـ IMX378 ، والتي تشهد زيادة في إمكانيات تصل إلى 240 هرتز في 1080 بكسل.

يمكن للمستشعر أيضًا التقاط صور انفجار كاملة الدقة بشكل أسرع ، حيث يصل إلى 60 هرتز عند إخراج 10 بت و 40 هرتز عند إخراج 12 بت (أعلى من 40 هرتز و 35 هرتز على التوالي) ، مما سيساعد في تقليل مقدار طمس الحركة و تهز الكاميرا عند استخدام HDR +.

SME-HDR

تقليديا ، كان HDR للفيديو مفاضلة. إما أن تضطر إلى خفض معدل الإطار إلى النصف ، أو كان عليك خفض الدقة إلى النصف. نتيجة لذلك ، لم يزعجها الكثير من مصنعي المعدات الأصلية ، حيث أصبحت كل من Samsung و Sony من بين الشركات القليلة التي تقوم بتنفيذها. حتى Samsung Galaxy Note 7 يقتصر على تسجيل 1080 هرتز 30 هرتز ويرجع ذلك جزئيًا إلى التكلفة الحسابية الثقيلة لفيديو HDR.

أول من الطريقتين التقليديتين الرئيسيتين لفيديو HDR ، الذي تسميه شركة Red Digital Cinema Camera شركة HDRx والذي تطلقه شركة Sony على Digital Overlap HDR (DOL-HDR) ، يعمل من خلال التقاط صورتين متتاليتين ، واحدة أفتح وأفتح مكشوفة ، ودمج لهم معا لإنشاء إطار فيديو واحد. على الرغم من أن هذا يسمح لك بالحفاظ على الدقة الكاملة للكاميرا (وتعيين سرعات مصراع مختلفة للإطارين المنفصلين) ، إلا أنها قد تؤدي غالبًا إلى حدوث مشكلات بسبب الفجوة الزمنية بين الإطارين (خاصة مع الأجسام المتحركة بسرعة). بالإضافة إلى ذلك ، يمكن أن يكون من الصعب للغاية على المعالج الاستمرار ، كما هو الحال مع DOL-HDR ، يتعامل مزود خدمة الإنترنت في الهاتف مع دمج الإطارات المنفصلة معًا.

تقوم الطريقة التقليدية الأخرى ، التي تطلقها شركة Sony على Binning Multiplexed Exposure HDR (BME-HDR) ، بتعيين إعداد تعريض مختلف لكل زوج من سطرين من وحدات البكسل في المستشعر لإنشاء صورتين بنصف دقة الوضوح في نفس الوقت ، يتم دمجهما معًا في إطار واحد HDR للفيديو. على الرغم من أن هذه الطريقة تتجنب المشكلات المرتبطة بتقنية HDRx ، أي تقليل معدل الإطارات ، إلا أنها تتضمن مشكلات أخرى ، خاصةً تقليل الدقة وحدود كيفية تغيير التعرض بين مجموعتي الأسطر.

يعد التعرض المضاعف المكاني (SME-HDR) طريقة جديدة تستخدمها سوني للسماح لهم بتصوير HDR بدقة كاملة وبمعدل الإطار الكامل الذي يستطيع المستشعر القيام به. إنه أحد أشكال Spatially Varying Exposure التي تستخدم خوارزميات خاصة للسماح لشركة Sony بالتقاط المعلومات من وحدات البكسل الداكنة والخفيفة ، والتي يتم ترتيبها بنمط نمط لوحة التحقق ، وتستنتج الصورة ذات الدقة الكاملة لكل من الصور الداكنة والخفيفة.

لسوء الحظ ، لم تتمكن Sony من تزويدنا بتفسيرات أكثر تفصيلاً حول النموذج الدقيق ، وقد لا تتمكن أبدًا من الإفصاح عنه - تميل الشركات إلى لعب أوراقها بالقرب من صندوقها عندما يتعلق الأمر بالتكنولوجيا المتطورة ، مثل تلك التي نرى في HDR ، حتى مع وجود جوجل خوارزمية الملكية الخاصة بهم لصور HDR المعروفة باسم HDR +. لا تزال هناك بعض المعلومات المتاحة للجمهور والتي يمكننا استخدامها لتجميع كيفية تحقيق ذلك ، رغم ذلك. تم نشر شريحتين من قِبل Shree K. Nayar من جامعة كولومبيا (أحدهما كان بالتعاون مع Tomoo Mitsunaga من Sony) يحتوي على طرق مختلفة لاستخدام التعرض المكاني المتغير ، وتخطيطات مختلفة يمكنها تحقيق ذلك. فيما يلي مثال للتخطيط مع أربعة مستويات من التعرض على مستشعر صور RGBG. يدعي هذا التصميم أنه قادر على تحقيق صور HDR كاملة الالتقاط مع خسارة حوالي 20٪ فقط في الدقة المكانية ، اعتمادًا على السيناريو (نفس الإنجاز الذي تطالب به Sony لصالح SME-HDR).

استخدمت Sony SME-HDR في مستشعرات صورتين بالفعل ، بما في ذلك في IMX214 التي شهدت كثيرًا من الشعبية مؤخرًا (تستخدم في Asus Zenfone 3 Laser و Moto Z و Xperia X Performance) ، ولكنها جديدة بالإضافة إلى IMX378 مقارنة مع IMX377 الذي تم استخدامه في العام الماضي. إنه يتيح لمستشعر الكاميرا إخراج فيديو بدقة 10 بت و 4 كيلو في 60 هرتز مع SME-HDR نشط. على الرغم من أن عنق الزجاجة في مكان آخر من العملية سينتج عنه حد أدنى ، إلا أن هذا يعد تحسينًا رائعًا لما كان IMX377 قادرًا عليه ، وهو علامة على حدوث أشياء جيدة في المستقبل.

أحد التحسينات الكبيرة في IMX378 على IMX377 هو أنه قادر على معالجة المزيد من شرائح معالجة الصور ، مما يقلل من عبء العمل على مزود خدمة الإنترنت (على الرغم من أن ISP لا يزال قادرًا على طلب بيانات صور RAW ، اعتمادًا على كيفية يقرر OEM استخدام المستشعر). يمكنه التعامل مع العديد من الأشياء الصغيرة مثل تصحيح العيوب والنسخ المتطابق محليًا ، ولكن الأهم من ذلك ، يمكنه أيضًا التعامل مع BME-HDR أو SME-HDR دون الحاجة إلى إشراك مزود خدمة الإنترنت. قد يكون هذا فرقًا كبيرًا في المضي قدمًا من خلال تحرير بعض النفقات العامة لمزود خدمة الإنترنت على الهواتف المستقبلية.

نود أن نشكر شركة Sony مرة أخرى على كل المساعدة في إنشاء هذه المقالة. نحن نقدر حقًا الأطوال التي ذهبت إليها سوني للمساعدة في ضمان دقة وعمق هذه الميزة ، لا سيما في السماح لنا بالكشف عن بعض المعلومات التي لم يتم إصدارها سابقًا حول IMX378.

ومع ذلك ، إنه لأمر مخز حقًا أنه من الصعب للغاية الوصول إلى بعض هذه المعلومات ، حتى معلومات المنتج الأساسية. عندما تحاول الشركات وضع المعلومات على مواقعها على شبكة الإنترنت ، فغالبًا ما يكون الوصول إليها غير مكتمل وغير مكتمل ، ويعزى ذلك في جزء كبير منه إلى أنه غالبًا ما يعامل على أنه مصدر قلق ثانوي لموظفي الشركة ، الذين يركزون أكثر على أعمالهم الرئيسية. يمكن لشخص متخصص يتعامل مع العلاقات العامة أن يحدث فرقًا كبيرًا من حيث إتاحة هذا النوع من المعلومات وإتاحتها لعامة الناس ، ونرى بعض الأشخاص يحاولون فعل ذلك في أوقات فراغهم. حتى في مقالة Sony Exmor Wikipedia نفسها ، حيث قام شخص واحد خلال أوقات فراغه بوضع معظم الأساس في أوقات فراغه ليأخذها من مقالة بايت 1715 عديمة الفائدة تقريبًا كانت متماثلة لسنوات ، إلى ~ 50000 بايت المقالة التي نراها هناك اليوم مع 185 المحررين متميزة. مقال يمكن القول إنه أفضل مستودع للمعلومات حول خط مستشعر Sony Exmor المتاح عبر الإنترنت ، ويمكننا رؤية نمط مشابه جدًا في مقالات أخرى. يمكن للكاتب الواحد المتخصص أن يحدث فرقًا كبيرًا في مدى سهولة العملاء في مقارنة المنتجات المختلفة ، وفي مدى اهتمام المستهلكين المهتمين بالموضوع ، والذي يمكن أن يكون له آثار بعيدة المدى. ولكن هذا موضوع لوقت آخر.

كما هو الحال دائمًا ، نترك نتساءل كيف تؤثر هذه التغييرات على الأجهزة نفسها. من الواضح أننا لن نحصل على فيديو HDR بدقة 4k 60 هرتز (وقد لا نحصل على فيديو HDR على الإطلاق ، لأن Google لم تذكره بعد) ، ولكن من المحتمل أن يساعد التصوير الكامل الدقة بشكل كبير مع HDR + ، وسنرى تحسينات على أحدث أجهزة الاستشعار في الهاتف بطرق أخرى صغيرة ولكنها جوهرية مماثلة كذلك.

بينما تسرد DXOMark هواتف Pixel على أنها أداء أفضل قليلاً من Samsung Galaxy S7 و HTC 10 ، فإن العديد من الأشياء التي أعطت هواتف Pixel تقدمًا بسيطًا كانت تحسينات رئيسية في البرامج مثل HDR + (التي تنتج نتائج رائعة للغاية ، والتي كرست DXOMark لها مجموعة كاملة قسم من مراجعتهم إلى) ونظام EIS الخاص بـ Google (والذي يمكن أن يعمل جنبًا إلى جنب مع OIS) الذي يقوم باختبار الجيروسكوب 200 مرة في الثانية لتوفير بعض من أفضل الثبات الإلكتروني للصورة الذي شهدناه على الإطلاق. نعم ، تحتوي هواتف Pixel على كاميرا رائعة ، لكن هل كان من الممكن أن تكون أفضل مع إضافة OIS و Dual Pixel PDAF؟ إطلاقا.

لا تفهموني ، كما قلت ، تحتوي هواتف Pixel على كاميرا مذهلة تمامًا ، لكن لا يمكنك أن تلومني حقًا على رغبتي في المزيد ، لا سيما عندما يكون الطريق إلى تلك التحسينات واضحًا للغاية (وعندما تكون أسعار الهواتف في التسعير الرئيسي الكامل ، حيث تتوقع الأفضل من الأفضل). سيكون هناك دائمًا جزء مني يريد المزيد ، ويريد عمرًا أفضل للبطارية ، ومعالجات أسرع ، وعمرًا أطول للبطارية ، وشاشات أكثر إشراقًا ، وأكثر حيوية ، ومكبرات صوت أعلى ، وكاميرات أفضل ، ومساحة أكبر للتخزين ، وعمر بطارية أفضل ، والأهم من ذلك ، أفضل عمر البطارية (مرة أخرى). ومع ذلك ، تتمتع هواتف Pixel بالعديد من الميزات الرائعة الصغيرة التي يمكن أن تتضافر لإنشاء جهاز واعد حقًا ، يسعدني رؤيته.