Nguồn: Tổng hợp Công nghệ Sina
Việc sử dụng một camera đơn để chụp ảnh mờ không có gì mới, trước đâyiPhone XRvà sớm hơnGoogle Pixel 2đã có những nỗ lực tương tự.
IPhone SE mới của Apple cũng vậy, nhưngMáy ảnhphần tử quá cũ, tín dụng chính vẫn nằm trong thuật toán.
Từ báo cáo tháo rời của iFixit, chúng ta có thể thấy rằng một số bộ phận trong iPhone SE mới hoàn toàn phù hợp vớiiPhone 8, thậm chí đến mức chúng có thể được sử dụng thay thế cho nhau - bao gồm cả góc rộng 12 megapixelMáy ảnh .
Thông lệ 'bình mới rượu cũ' không có gì lạ đối với iPhone SE.Quay lại 4 năm trước, iPhone SE thế hệ đầu tiên cũng áp dụng ngoại hình của 5s và phần lớn phần cứng nên Apple có thể đưa ra mức giá thấp hơn.
Về mặt lý thuyết, khi sao chép cùng một phần cứng máy ảnh,Máy ảnhđặc điểm của cả hai không nên khác nhau nhiều.Ví dụ,iPhone 8không hỗ trợ chụp ảnh có độ sâu trường ảnh nhỏ với chủ thể rõ ràng và hậu cảnh mờ, chúng ta thường gọi là "chế độ chân dung".
Nhưng khi bạn xem trang hỗ trợ của Apple, bạn sẽ thấy rằng chế độ dọc không được hỗ trợ bởiiPhone 8được hỗ trợ bởi iPhone SE mới - ngay cả khi thông số kỹ thuật ống kính phía sau của cả hai hoàn toàn giống nhau.
Trong những trường hợp bình thường, việc chụp ảnh mờ trên điện thoại di động thường phải được thực hiện bằng camera kép giống như mắt người, điện thoại di động cũng cần thu được hai hình ảnh ở các góc khác nhau thông qua hai ống kính ở các vị trí khác nhau, sau đó kết hợp các góc của chế độ xem Sự khác biệt ước tính độ sâu trường ảnh để làm mờ hậu cảnh và giữ đối tượng rõ ràng.
Dòng Plus trong danh sách, hoặc X, XS và 11 trong những năm gần đây, về cơ bản dựa vào hệ thống nhiều camera để hoàn thành việc chụp ảnh chân dung làm mờ.
Vậy camera đơn phía trước của iPhone giải quyết như thế nào?Cốt lõi nằm ở máy chiếu ma trận điểm hồng ngoại trong hệ thống Face ID, cũng có thể thu được dữ liệu độ sâu đủ chính xác, tương đương với 'ống kính phụ'.
Theo quan điểm này, iPhone SE có thể chụp ảnh ở chế độ chân dung là rất đặc biệt: thứ nhất, nó không chụp nhiều ảnh, thứ hai, nó không có Face ID, về cơ bản là không có khả năng hỗ trợ phần cứng.
Rõ ràng, Apple đã thực hiện một số thay đổi mà chúng ta không thể thấy ở cấp độ phần mềm.
Gần đây, Ben Sandofsky, nhà phát triển ứng dụng máy ảnh bên thứ ba Halide, đã tiết lộ các nguyên tắc kỹ thuật, giải thích lý do tại sao iPhone SE mới sử dụng các thông số kỹ thuật ống kính đơn giống nhưiPhone 8, nhưng nó có thể đạt được chế độ ảnh chân dung mà chế độ sau không thể.
Họ nói rằng iPhone SE mới có thể là 'chiếc iPhone đầu tiên có thể tạo ra hiệu ứng làm mờ chân dung chỉ bằng một hình ảnh 2D duy nhất'.
Bạn có thể nói rằngiPhone XRcũng không phải là một máy ảnh mờ.Có phải SE chỉ đang sao chép nó không?
Tuy nhiên, tình hình tháo dỡ đã chứng minh rằngmáy ảnhcủa iPhone SE vàiPhone XRkhông nhất quán, điều này cũng dẫn đến sự khác biệt trong việc thực hiện kỹ thuật của cả hai.
▲Samsung Galaxy S7series là thiết bị đầu tiên sử dụng công nghệ DPAF trên điện thoại thông minhMáy ảnh
Điểm quan trọng nhất làMáy ảnhsau đóiPhone XRcó thể sử dụng công nghệ lấy nét tự động pixel kép (DPAF), cho phép nó thu được dữ liệu độ sâu nhất định dựa trên phần cứng.
Nói một cách dễ hiểu, công nghệ DPAF tương đương với việc phân chia pixel trênMáy ảnhcảm biến thành hai pixel nhỏ hơn cạnh nhau để chụp hai ảnh với các góc khác nhau, giống như mắt trái và mắt phải của chúng ta.
Mặc dù sự khác biệt góc tạo ra bởi điều này không rõ ràng bằngMáy ảnh, nó vẫn có lợi cho thuật toán để tạo dữ liệu độ sâu.
▲Google Pixel 2, 3Hai bản đồ chênh lệch thu được bằng công nghệ DPAF rất khó bằng mắt thường
nhận thức, nhưng vẫn có thể giúp thuật toán phân đoạn hình ảnh đưa ra phán đoán
Trước đây,Googlecũng đã sử dụng công nghệ này trênPixel 2, 3để đạt được hiệu ứng nhòe trong một lần chụp.TrênPixel4, bởi vì máy ảnh được thay thế bằng thông số kỹ thuật nhiều máy ảnh, phát hiện thị sai chính xác hơn đáng kể so với máy ảnh đơn.
▲ Hãy cùng xem dữ liệu thu được của Pixel 4 bằng hai camera.
Đối với iPhone SE mới, do cảm biến của nó quá cũ nên Halide khẳng định rằng nó không thể dựa vào cảm biến để lấy bản đồ chênh lệch và về cơ bản chỉ có thể dựa vào thuật toán máy học do chip A13 Bionic cung cấp để mô phỏng và tạo dữ liệu độ sâu. bản đồ.
Giải thích một câu là việc iPhone SE chụp chân dung bị mờ hoàn toàn do phần mềm và thuật toán.
▲ Chụp ảnh này trực tiếp vớiiPhone XRvà iPhone SE mới
Halide đã sử dụngiPhone XRvà iPhone SE mới để chụp ảnh con chó con (không phải ảnh thực, chỉ để chụp 'một bức ảnh'), sau đó so sánh dữ liệu độ sâu của hai bức ảnh.
Họ nhận thấy rằngiPhone XRchỉ thực hiện một phân đoạn hình ảnh đơn giản để kéo phần thân chính ra, nhưng không nhận ra chính xác tai của chú cún.
▲ Biểu đồ dữ liệu độ sâu,iPhone XRở bên trái, iPhone SE mới ở bên phải
Nhưng trên iPhone SE mới, với thuật toán mới được cung cấp bởi chip A13, chúng tôi có một bản đồ độ sâu hoàn toàn khác vớiXR.Nó không chỉ nhận dạng chính xác tai và đường nét tổng thể của chú chó con mà còn xử lý nhiều lớp cho các nền khác nhau.
Loại bản đồ độ sâu này không chính xác 100%.Halide cho biết độ chính xác của vết cắt và độ mờ của iPhone SE mới khi chụp ảnh mờ không chính xác bằng khuôn mặt không chính xác như khi chụp chân dung.
Đặc biệt trong trường hợp một số chủ thể và ảnh nền bị mờ rất nhiều, ưu điểm của nhiều camera sẽ càng rõ ràng hơn vào lúc này.
▲ Trong loại chủ đề không có khuôn mặt này, chủ thể và hậu cảnh không được tách biệt rõ ràng, iPhone SE mới sẽ bị mờ
rất dễ mắc sai lầm
Như bạn có thể thấy từ hình ảnh này,iPhone 11 Prođược trang bị hệ thống nhiều camera không chỉ có thể phác thảo hoàn toàn các cây nhỏ trên nhật ký, mà còn có thể nhận ra khoảng cách của hậu cảnh và thực hiện xử lý theo lớp.
▲ Biểu đồ dữ liệu độ sâu,iPhone 11 Proở bên trái, iPhone SE mới ở bên phải
Trên iPhone SE mới, mặc dù có cùng kết quả xử lý phân lớp, chủ thể và hậu cảnh đã hoàn toàn hợp nhất với nhau.Đương nhiên, quá trình sau làm mờ tự nhiên sẽ tồi tệ hơn nhiều so vớiiPhone 11 Pro.
▲ Các bằng chứng thực tế bị mờ,iPhone 11 Proở bên trái và iPhone SE mới ở bên phải
Đó là lý do tại sao, khi iPhone SE mới sử dụng iOS của chínhMáy ảnhứng dụng, chỉ khi khuôn mặt người được phát hiện, "Chế độ chân dung" mới có thể được bật để chụp ảnh mờ.Trong các trường hợp khác, một lỗi sẽ xuất hiện.
Nguyên nhân vẫn liên quan đến thuật toán của Apple.Halide đã đề cập đến một kỹ thuật gọi là 'Làm mờ hiệu ứng chân dung' (Portrait Effects Matte), chủ yếu được sử dụng để tìm đường nét chính xác của người trong ảnh ở chế độ chân dung, bao gồm các chi tiết như chân tóc ở mép, khung kính, v.v. Chủ thể và hậu cảnh được phân đoạn.
Nhưng hiện tại, bộ công nghệ phân đoạn dựa trên máy học này được chuẩn bị nhiều hơn cho việc "bắn người", nó thực sự có thể bù đắp cho việc thiếu dữ liệu thị sai trên đơnMáy ảnhđiện thoại chẳng hạn nhưiPhone XRvà iPhone SE, nhưng nếu đối tượng Thuật toán cũng sẽ mắc lỗi phán đoán khi thay đổi ký tự từ đối tượng khác.
Còn đối với điện thoại nhiều camera nhưiPhone 11 Pro, bạn có thể nhận dữ liệu thị sai trực tiếp thông quaMáy ảnhphần cứng, vì vậy họ cũng có thể sử dụng chế độ chân dung trong các cảnh không có khuôn mặt khi sử dụngMáy ảnh.
▲ Ống kính phía trước của iPhone SE mới cũng hỗ trợ chế độ chân dung và độ chính xác của khuôn mặt rất cao,
và sự khác biệt về hình ảnh chỉ là ở hiệu ứng bokeh
Tất nhiên, các nhà phát triển bên thứ ba vẫn có thể sử dụng những thứ không được hỗ trợ chính thức.Bây giờ ứng dụng Halide có thể hỗ trợiPhone XR, SE để chụp ảnh động vật nhỏ hoặc các vật thể khác bị mờ.Trên thực tế, nó cũng sử dụng công nghệ mặt nạ chân dung của Apple để thu được bản đồ độ sâu và sau đó thêm tính năng tối ưu hóa mặt sau của riêng nó để đạt được.
▲ Sử dụng các ứng dụng của bên thứ ba như Halide, bạn có thể sử dụng iPhone SE mới để chụp ảnh mờ đối tượng không phải khuôn mặt
Nhìn chung, độ mờ chân dung mà iPhone SE mới này đạt được là giới hạn có thể đạt được bằng cách tối ưu hóa phần mềm cho điện thoại có camera đơn.Nói một cách chính xác, điều này thực sự là do chip A13.Nếu nó không mang lại thuật toán học máy mới nhất,Máy ảnhtrải nghiệm một mình, trải nghiệm chụp SE rõ ràng phải bằng một nửa.
Vì vậy, việc smartphone phát triển hệ thống nhiều camera vẫn có ý nghĩa.Chúng tôi có thể sử dụng góc siêu rộng để mở rộng trường nhìn và chúng tôi có thể dựa vào ống kính tele để có được những bức ảnh thu phóng không phá hủy.Trợ giúp phát hiện thực tế tăng cường, những điều này không chỉ đạt được nhờ nâng cấp OTA hoặc mài dũa các thuật toán.
Tất nhiên, việc khoe khoang và tranh giành số lượng máy ảnh một cách mù quáng cũng là điều khó chịu.Nếu phần cứng chỉ xác định giới hạn dưới của hình ảnh, thì một tập hợp các thuật toán xuất sắc có thể nâng cao đáng kể giới hạn trên của hình ảnh, và thậm chí thể hiện lại giá trị và giá trị của phần cứng cũ.tiềm năng.
Tôi không biết liệu chúng ta có thể đợi thêm bốn năm nữa hay không.Khi thế hệ tiếp theo của iPhone SE ra mắt, sẽcamera vẫn có chỗ đứng trong ngành công nghiệp điện thoại di động?
Thời gian đăng: 05-06-2020