Kết xuất thần kinh là một kỹ thuật mới nổi trong học sâu nhằm mục đích tăng cường hệ thống đồ họa máy tính cổ điển với các mạng thần kinh.
Thuật toán kết xuất thần kinh sẽ yêu cầu một tập hợp các hình ảnh đại diện cho các góc khác nhau của cùng một cảnh. Những hình ảnh này sau đó sẽ được đưa vào một mạng thần kinh để tạo ra một mô hình có thể xuất ra các góc mới của cùng một cảnh.
Sự xuất sắc đằng sau kết xuất thần kinh nằm ở cách nó có thể tái tạo chính xác các cảnh ảnh chân thực chi tiết mà không cần phải dựa vào các phương pháp cổ điển có thể đòi hỏi nhiều tính toán hơn.
Trước khi đi sâu vào cách thức hoạt động của kết xuất thần kinh, chúng ta hãy tìm hiểu những kiến thức cơ bản về kết xuất cổ điển.
Kết xuất cổ điển là gì?
Trước tiên hãy hiểu các phương pháp điển hình được sử dụng trong kết xuất cổ điển.
Kết xuất cổ điển đề cập đến tập hợp các kỹ thuật được sử dụng để tạo hình ảnh 2D của cảnh ba chiều. Còn được gọi là tổng hợp hình ảnh, kết xuất cổ điển sử dụng nhiều thuật toán khác nhau để mô phỏng cách ánh sáng tương tác với các loại đối tượng khác nhau.
Ví dụ: hiển thị một viên gạch đặc sẽ yêu cầu một bộ thuật toán cụ thể để xác định vị trí của bóng hoặc mức độ sáng của hai bên tường. Tương tự, các vật thể phản xạ hoặc khúc xạ ánh sáng, chẳng hạn như gương, vật thể sáng bóng hoặc khối nước, cũng sẽ yêu cầu các kỹ thuật riêng.
Trong kết xuất cổ điển, mỗi nội dung được biểu thị bằng lưới đa giác. Sau đó, một chương trình đổ bóng sẽ sử dụng đa giác làm đầu vào để xác định đối tượng sẽ trông như thế nào với ánh sáng và góc đã chỉ định.
Kết xuất thực tế sẽ yêu cầu sức mạnh tính toán cao hơn nhiều vì nội dung của chúng tôi cuối cùng có hàng triệu đa giác để sử dụng làm đầu vào. Đầu ra do máy tính tạo ra phổ biến trong các bộ phim bom tấn của Hollywood thường mất hàng tuần hoặc thậm chí hàng tháng để kết xuất và có thể tiêu tốn hàng triệu đô la.
Phương pháp dò tia đặc biệt tốn kém vì mỗi pixel trong hình ảnh cuối cùng yêu cầu tính toán đường đi của ánh sáng từ nguồn sáng đến đối tượng và đến máy ảnh.
Những tiến bộ trong phần cứng đã làm cho kết xuất đồ họa dễ tiếp cận hơn nhiều đối với người dùng. Ví dụ, nhiều sản phẩm mới nhất trò chơi video cho phép các hiệu ứng dò tia chẳng hạn như phản xạ và bóng như ảnh chân thực miễn là phần cứng của chúng phù hợp với nhiệm vụ.
Các GPU (đơn vị xử lý đồ họa) mới nhất được xây dựng đặc biệt để giúp CPU xử lý các phép tính phức tạp cao cần thiết để hiển thị đồ họa chân thực như ảnh.
Sự trỗi dậy của kết xuất thần kinh
Kết xuất thần kinh cố gắng giải quyết vấn đề kết xuất theo một cách khác. Thay vì sử dụng các thuật toán để mô phỏng cách ánh sáng tương tác với các vật thể, điều gì sẽ xảy ra nếu chúng ta tạo một mô hình để tìm hiểu xem cảnh sẽ trông như thế nào từ một góc độ nhất định?
Bạn có thể coi nó như một lối tắt để tạo các cảnh ảnh chân thực. Với kết xuất thần kinh, chúng ta không cần tính toán cách ánh sáng tương tác với một đối tượng, chúng ta chỉ cần đủ dữ liệu huấn luyện.
Cách tiếp cận này cho phép các nhà nghiên cứu tạo ra các cảnh phức tạp có chất lượng cao mà không cần phải thực hiện
Trường thần kinh là gì?
Như đã đề cập trước đó, hầu hết các kết xuất 3D sử dụng lưới đa giác để lưu trữ dữ liệu về hình dạng và kết cấu của từng đối tượng.
Tuy nhiên, các trường thần kinh đang trở nên phổ biến như một phương pháp thay thế để biểu diễn các đối tượng ba chiều. Không giống như các mắt lưới đa giác, các trường thần kinh là khả vi và liên tục.
Chúng ta có ý gì khi nói các trường thần kinh có thể phân biệt được?
Giờ đây, đầu ra 2D từ trường thần kinh có thể được đào tạo để trở nên chân thực bằng cách điều chỉnh trọng số của mạng thần kinh.
Bằng cách sử dụng các trường thần kinh, chúng ta không còn cần phải mô phỏng tính chất vật lý của ánh sáng để hiển thị cảnh. Kiến thức về cách kết xuất cuối cùng sẽ được thắp sáng hiện được lưu trữ ngầm bên trong các trọng số của chúng tôi mạng lưới thần kinh.
Điều này cho phép chúng tôi tạo các hình ảnh và video mới lạ tương đối nhanh chóng chỉ từ một số ít ảnh hoặc cảnh quay video.
Làm thế nào để đào tạo một lĩnh vực thần kinh?
Bây giờ chúng ta đã biết những kiến thức cơ bản về cách hoạt động của trường thần kinh, hãy xem cách các nhà nghiên cứu có thể huấn luyện trường bức xạ thần kinh hoặc NeRF.
Đầu tiên, chúng ta sẽ cần lấy mẫu các tọa độ ngẫu nhiên của một cảnh và đưa chúng vào một mạng thần kinh. Mạng này sau đó sẽ có thể tạo ra số lượng trường.
Số lượng trường được tạo ra được coi là các mẫu từ miền tái tạo mong muốn của cảnh mà chúng tôi muốn tạo.
Sau đó, chúng tôi sẽ cần lập bản đồ tái tạo thành hình ảnh 2D thực tế. Sau đó, một thuật toán sẽ tính toán lỗi tái tạo. Lỗi này sẽ hướng dẫn mạng thần kinh tối ưu hóa khả năng tái tạo lại cảnh.
Các ứng dụng của kết xuất thần kinh
Tiểu Thuyết Xem Tổng Hợp
Tổng hợp chế độ xem mới đề cập đến nhiệm vụ tạo phối cảnh máy ảnh từ các góc độ mới bằng cách sử dụng dữ liệu từ một số phối cảnh hạn chế.
Các kỹ thuật kết xuất thần kinh cố gắng đoán vị trí tương đối của máy ảnh cho từng hình ảnh trong tập dữ liệu và đưa dữ liệu đó vào mạng thần kinh.
Sau đó, mạng thần kinh sẽ tạo ra một biểu diễn 3D của cảnh trong đó mỗi điểm trong không gian 3D có một màu và mật độ tương ứng.
Một triển khai mới của NeRF trong Google Street View sử dụng tổng hợp chế độ xem mới lạ để cho phép người dùng khám phá các địa điểm trong thế giới thực như thể họ đang điều khiển máy ảnh quay video. Điều này cho phép khách du lịch khám phá các điểm đến một cách nhập vai trước khi quyết định đi du lịch đến một địa điểm cụ thể.
Ảnh đại diện thực tế
Các kỹ thuật nâng cao trong kết xuất thần kinh cũng có thể mở đường cho các hình đại diện kỹ thuật số chân thực hơn. Những hình đại diện này sau đó có thể được sử dụng cho nhiều vai trò khác nhau, chẳng hạn như trợ lý ảo hoặc dịch vụ khách hàng hoặc như một cách để người dùng chèn chân dung của họ vào một video game hoặc kết xuất mô phỏng.
Ví dụ, một giấy được xuất bản vào tháng 2023 năm XNUMX đề xuất sử dụng các kỹ thuật kết xuất thần kinh để tạo hình đại diện giống như ảnh sau một vài phút cảnh quay video.
Kết luận
Kết xuất thần kinh là một lĩnh vực nghiên cứu thú vị có khả năng thay đổi toàn bộ ngành đồ họa máy tính.
Công nghệ này có thể hạ thấp rào cản gia nhập đối với việc tạo nội dung 3D. Các nhóm hiệu ứng hình ảnh có thể không còn phải đợi nhiều ngày để hiển thị một vài phút đồ họa chân thực bằng ảnh.
Việc kết hợp công nghệ với các ứng dụng VR và AR hiện có cũng có thể cho phép các nhà phát triển tạo ra nhiều trải nghiệm phong phú hơn.
Bạn nghĩ tiềm năng thực sự của kết xuất thần kinh là gì?
Bình luận