מקור: סינתזת טכנולוגיה של Sina
השימוש במצלמה בודדת להשגת צילום מטושטש אינו דבר חדש, הקודםאייפון XRומקודםגוגל פיקסל 2היו ניסיונות דומים.
ה-iPhone SE החדש של אפל הוא גם זהה, אבל שלומַצלֵמָההאלמנט ישן מדי, הקרדיט העיקרי עדיין באלגוריתם.
מדוח הפירוק של iFixit, אנו יכולים לראות שחלקים מסוימים באייפון SE החדש תואמים לחלוטין אתאייפון 8, אפילו במידה שניתן להשתמש בהם לסירוגין - כולל זווית רחבה של 12 מגה פיקסלמַצלֵמָה .
הנוהג של 'יין חדש בבקבוקים ישנים' אינו יוצא דופן עבור ה-iPhone SE.לפני ארבע שנים, הדור הראשון של iPhone SE יישם גם את המראה של 5s ואת רוב החומרה, כך שאפל יכולה לתת מחיר נמוך יותר.
תיאורטית, כאשר מעתיקים את אותה חומרת מצלמה, המַצלֵמָההמאפיינים של השניים לא צריכים להיות שונים בהרבה.לדוגמה,אייפון 8אינו תומך בצילום תמונות עומק שדה קטן עם נושא ברור ורקע מטושטש, שזה מה שאנו מכנים לעתים קרובות "מצב דיוקן".
אבל כשתסתכלו על דף התמיכה של אפל, תגלו שמצב הפורטרט שאינו נתמך על ידיאייפון 8נתמך על ידי ה-iPhone SE החדש - גם אם מפרטי העדשה האחורית של השניים זהים לחלוטין.
בנסיבות רגילות, צילום תמונות מטושטשות בטלפון נייד צריך להיעשות על ידי מצלמות כפולות - בדיוק כמו עיניים אנושיות, הטלפון הנייד גם צריך לקבל שתי תמונות בזוויות שונות דרך שתי עדשות במיקומים שונים, ולאחר מכן לשלב את הזוויות של תצוגה ההבדל מעריך את עומק השדה כדי להשיג טשטוש רקע ולשמור על הנושא ברור.
סדרת הפלוס ברשימה, או ה-X, XS ו-11 בשנים האחרונות, מסתמכות בעצם על מערכות מרובות מצלמות להשלמת צילום טשטוש דיוקן.
אז איך פותרת מצלמת הסינגל הקדמית של האייפון?הליבה טמונה במקרן אינפרא אדום נקודות מטריקס במערכת Face ID, שיכול לקבל גם נתוני עומק מדויקים מספיק, השווים ל'עדשת עזר'.
מנקודת מבט זו, ה-iPhone SE יכול לצלם תמונות במצב פורטרט הוא מיוחד מאוד: ראשית, הוא אינו מצלם מספר תמונות, שנית, אין לו Face ID, אין בעצם אפשרות לתמיכה בחומרה.
ככל הנראה, אפל ביצעה כמה שינויים שאיננו יכולים לראות ברמת התוכנה.
לאחרונה, בן סנדופסקי, מפתח אפליקציית המצלמות של צד שלישי Halide, חשף את העקרונות הטכניים, והסביר מדוע ה-iPhone SE החדש משתמש באותם מפרט עדשה בודדת כמואייפון 8, אבל זה יכול להשיג את מצב צילום דיוקן שהאחרון לא יכול.
הם אמרו שהאייפון SE החדש עשוי להיות "האייפון הראשון שיכול ליצור אפקט טשטוש דיוקן באמצעות תמונה דו-ממדית אחת בלבד".
אפשר לומר שהאייפון XRהוא גם לא טשטוש של מצלמה אחת.האם SE לא רק מעתיק את זה?
עם זאת, מצב הפירוק הוכיח כימצלמותשל אייפון SE ואייפון XRאינם עקביים, מה שמוביל גם להבדלים ביישום הטכני של השניים.
▲סמסונג גלקסי S7סדרה הוא המכשיר הראשון המשתמש בטכנולוגיית DPAF בסמארטפוןמַצלֵמָה
הנקודה החשובה ביותר היא שהמַצלֵמָהשל האייפון XRיכול להשתמש בטכנולוגיית פוקוס אוטומטי כפול פיקסלים (DPAF), המאפשרת להשיג נתוני עומק מסוימים על בסיס חומרה.
במילים פשוטות, טכנולוגיית DPAF שווה ערך לחלוקת הפיקסל עלמַצלֵמָהחיישן לשני פיקסלים קטנים יותר זה לצד זה כדי ללכוד שתי תמונות בזוויות שונות, בדיוק כמו העיניים השמאלית והימנית שלנו.
למרות שהפרש הזווית שנוצר על ידי זה אינו ברור כמו זה של כפולמַצלֵמָה, זה עדיין תורם לאלגוריתם ליצור נתוני עומק.
▲גוגל פיקסל 2, 3שתי מפות פערים שהושגו באמצעות טכנולוגיית DPAF קשות לעין בלתי מזוינת
לתפוס, אבל עדיין יכול לעזור לאלגוריתם פילוח התמונה לעשות שיפוט
קוֹדֶם,גוגלהשתמש גם בטכנולוגיה זו עלPixel 2, 3כדי להשיג טשטוש בצילום בודד.עלפיקסל4, מכיוון שהמצלמה מוחלפת במפרט מרובה מצלמה, זיהוי הפרלקס מדויק יותר באופן משמעותי מאשר מצלמה בודדת.
▲ בואו נסתכל על הנתונים שהתקבלו על ידי ה-Pixel 4 באמצעות שתי מצלמות.
באשר לאייפון SE החדש, מכיוון שהחיישנים שלו ישנים מדי, Halide טוענת שהיא לא יכולה לסמוך על החיישנים כדי להשיג מפות פערים, ובעצם יכולה להסתמך רק על אלגוריתם למידת המכונה שמספק שבב A13 Bionic כדי לדמות ולייצר נתוני עומק מפות.
אחד ההסברים למשפטים הוא שצילום טשטוש דיוקן של iPhone SE מושג כולו על ידי תוכנה ואלגוריתמים.
▲ צלם תמונה זו ישירות עםאייפון XRואייפון SE חדש
▲ גרף נתוני עומק,אייפון XRמשמאל, iPhone SE חדש מימין
אבל באייפון SE החדש, עם האלגוריתם החדש שמספק שבב A13, קיבלנו מפת עומק שונה לחלוטין מזהXR.זה לא רק מזהה נכון את אוזני הגור ואת קווי המתאר הכלליים, אלא גם מבצע עיבוד שכבות עבור רקעים שונים.
מפת עומק מסוג זה אינה מדויקת ב-100%.Halide אמר שהדיוק של החיתוך והטשטוש של ה-iPhone SE החדש בעת צילום תמונות מטושטשות ללא פנים אינו מדויק כמו בעת צילום פורטרטים.
במיוחד במקרה שבו חלק מהנושאים ותמונות הרקע מטושטשים מאוד, היתרון של מצלמות מרובות יהיה ברור יותר בשלב זה.
▲ בסוג זה של נושא שאינו פנים, והנושא והרקע אינם מופרדים בבירור, הטשטוש של האייפון SE החדש
קל לעשות טעויות
כפי שניתן לראות מתמונה זו, האייפון 11 פרומצויד במערכת מרובת מצלמות יכול לא רק לשרטט לחלוטין את הצמחים הקטנים ביומן, אלא גם לזהות את המרחק של הרקע ולבצע עיבוד שכבות.
▲ גרף נתוני עומק,אייפון 11 פרומשמאל, iPhone SE חדש מימין
באייפון SE החדש, למרות אותן תוצאות של עיבוד שכבות, הנושא והרקע התמזגו לחלוטין.באופן טבעי, התהליך שלאחר הטשטוש יהיה באופן טבעי הרבה יותר גרוע מהאייפון 11 פרו.
▲ ההוכחות המטושטשות בפועל,אייפון 11 פרומשמאל ואייפון SE החדש מימין
זו הסיבה, כאשר ה-iPhone SE החדש משתמש ב-iOS משלומַצלֵמָההאפליקציה, רק כאשר מזוהה פנים אנושיות, ניתן להפעיל את "מצב דיוקן" לצילום תמונות מטושטשות.במקרים אחרים תופיע שגיאה.
הסיבה עדיין קשורה לאלגוריתם של אפל.Halide הזכיר טכניקה בשם 'Portrait Effects Matte' (Portrait Effects Matte), המשמשת בעיקר למציאת קווי המתאר המדויקים של אנשים בתמונות במצב דיוקן, כולל פרטים כמו קו שיער בקצה, מסגרת למשקפיים וכו'. הנושא והרקע מפולחים.
אבל נכון לעכשיו, סט זה של טכנולוגיית פילוח המבוססת על למידת מכונה מוכנה יותר "לירות באנשים", היא אכן יכולה לפצות על היעדר נתוני פרלקסה על יחידמַצלֵמָהטלפונים כגוןאייפון XRו-iPhone SE, אבל אם הנושא האלגוריתם יעשה גם שגיאת שיפוט בעת שינוי תווים מאובייקטים אחרים.
לגבי טלפונים מרובי מצלמות כמואייפון 11 פרו, אתה יכול לקבל נתוני פרלקסה ישירות דרךמַצלֵמָהחומרה, כך שהם יכולים להשתמש במצב דיוקן גם בסצנות שאינן פנים בעת שימוש משלהםמַצלֵמָה.
▲ העדשה הקדמית של האייפון SE החדש תומכת גם במצב דיוקן, והדיוק של הפנים גבוה מאוד,
והבדל ההדמיה הוא רק באפקט הבוקה
כמובן, מפתחי צד שלישי עדיין יכולים להשתמש בדברים שאינם נתמכים רשמית.כעת אפליקציית Halide יכולה לתמוךאייפון XR, SE כדי לצלם תמונות מטושטשות של חיות קטנות או חפצים אחרים.למעשה, היא גם משתמשת בטכנולוגיית מסכת הדיוקן של אפל כדי להשיג מפות עומק, ולאחר מכן להוסיף אופטימיזציה אחורית משלה כדי להשיג.
▲ באמצעות אפליקציות צד שלישי כמו Halide, אתה יכול להשתמש ב-iPhone SE החדש כדי לצלם תמונות מטושטשות של נושאים שאינם פנים
באופן כללי, טשטוש הדיוקן שהושג על ידי ה-iPhone SE החדש הזה הוא הגבול שניתן להשיג על ידי אופטימיזציה של תוכנה עבור טלפונים עם מצלמה אחת.למהדרין, זה בעצם בגלל שבב A13.אם זה לא הביא את אלגוריתם למידת המכונה העדכנית, המַצלֵמָהניסיון בלבד, חווית הירי SE כמובן חייבת להיות חצי.
לכן, עדיין יש משמעות לסמארטפונים לפתח מערכות מרובות מצלמות.אנחנו יכולים להשתמש בזווית רחבה במיוחד כדי להרחיב את שדה הראייה, ואנחנו יכולים לסמוך על עדשת הטלפוטו כדי להשיג תמונות זום לא הרסניות.עזרה בזיהוי מציאות מוגברת, אלה לא מושגות רק על ידי שדרוג OTA, או שחיקה של אלגוריתמים.
כמובן שגם התרברבות עיוורת והתחרות על מספר המצלמות מעצבנת.אם החומרה קובעת רק את הגבול התחתון של ההדמיה, אז קבוצה של אלגוריתמים מצוינים יכולה להעלות משמעותית את הגבול העליון של ההדמיה, ואפילו לבטא מחדש את הערך והערך של החומרה הישנה.פוטנציאל.
אני לא יודע אם נוכל לחכות עוד ארבע שנים.כאשר הדור הבא של אייפון SE ייצא, יהיה יחידמצלמתעדיין יש לך מקום בתעשיית הטלפונים הניידים?
זמן פרסום: מאי-06-2020