Mục lục[Ẩn giấu][Chỉ]
Các chương trình phân tích và máy học nâng cao được thúc đẩy bởi dữ liệu, nhưng việc truy cập vào dữ liệu đó có thể khó khăn đối với các nhà học thuật do những thách thức về quyền riêng tư và quy trình kinh doanh.
Dữ liệu tổng hợp, có thể được chia sẻ và sử dụng theo những cách mà dữ liệu thực tế không thể, là một hướng đi mới tiềm năng để theo đuổi. Tuy nhiên, chiến lược mới này không phải là không có nguy cơ hoặc bất lợi, do đó, điều quan trọng là các doanh nghiệp phải cân nhắc kỹ lưỡng về việc sử dụng các nguồn lực của mình ở đâu và như thế nào.
Trong kỷ nguyên hiện tại của AI, chúng ta cũng có thể khẳng định rằng dữ liệu là dầu mới, nhưng chỉ một số ít được lựa chọn đang ngồi trên máy nghiền. Vì vậy, rất nhiều người đang tự sản xuất nhiên liệu vừa hợp túi tiền vừa hiệu quả. Nó được gọi là dữ liệu tổng hợp.
Trong bài đăng này, chúng tôi sẽ xem xét chi tiết dữ liệu tổng hợp — tại sao bạn nên sử dụng dữ liệu đó, cách sản xuất, điều gì làm cho dữ liệu khác với dữ liệu thực tế, các trường hợp sử dụng mà dữ liệu có thể phục vụ và hơn thế nữa.
Vậy, dữ liệu tổng hợp là gì?
Khi các tập dữ liệu chính hãng không đủ về chất lượng, số lượng hoặc tính đa dạng, dữ liệu tổng hợp có thể được sử dụng để đào tạo các mô hình AI thay cho dữ liệu lịch sử thực.
Khi dữ liệu hiện có không đáp ứng các yêu cầu kinh doanh hoặc có rủi ro về quyền riêng tư khi được sử dụng để phát triển học máy mô hình, phần mềm thử nghiệm hoặc tương tự, dữ liệu tổng hợp có thể là một công cụ quan trọng cho các nỗ lực AI của doanh nghiệp.
Nói một cách đơn giản, dữ liệu tổng hợp thường được sử dụng thay cho dữ liệu thực tế. Chính xác hơn, đó là dữ liệu đã được gắn thẻ nhân tạo và được tạo ra bằng mô phỏng hoặc thuật toán máy tính.
Dữ liệu tổng hợp là thông tin được tạo ra bởi một chương trình máy tính một cách giả tạo chứ không phải là kết quả của những lần xuất hiện thực tế. Các công ty có thể thêm dữ liệu tổng hợp vào dữ liệu đào tạo của họ để bao gồm tất cả các tình huống sử dụng và cạnh, giảm chi phí thu thập dữ liệu hoặc đáp ứng các quy định về quyền riêng tư.
Dữ liệu nhân tạo giờ đây trở nên dễ tiếp cận hơn bao giờ hết nhờ những cải tiến về sức mạnh xử lý và các phương pháp lưu trữ dữ liệu như đám mây. Dữ liệu tổng hợp giúp cải thiện việc tạo ra các giải pháp AI có lợi hơn cho tất cả người dùng cuối và đó chắc chắn là một sự phát triển tốt.
Dữ liệu tổng hợp quan trọng như thế nào và tại sao bạn nên sử dụng nó?
Khi đào tạo các mô hình AI, các nhà phát triển thường cần bộ dữ liệu khổng lồ với nhãn chính xác. Khi được dạy với nhiều dữ liệu đa dạng hơn, mạng thần kinh thực hiện chính xác hơn.
Tuy nhiên, việc thu thập và gắn nhãn những tập dữ liệu khổng lồ này chứa hàng trăm hoặc thậm chí hàng triệu mục có thể tốn kém thời gian và tiền bạc một cách phi lý. Giá của việc sản xuất dữ liệu đào tạo có thể được giảm đáng kể bằng cách sử dụng dữ liệu tổng hợp. Ví dụ: nếu được tạo giả tạo, một hình ảnh đào tạo có giá 5 đô la khi được mua từ nhà cung cấp ghi nhãn dữ liệu có thể chỉ có giá $ 0.05.
Dữ liệu tổng hợp có thể giảm bớt những lo ngại về quyền riêng tư liên quan đến dữ liệu nhạy cảm tiềm ẩn được tạo ra từ thế giới thực trong khi cũng giảm chi phí.
So với dữ liệu chân thực, không thể phản ánh chính xác toàn bộ sự thật về thế giới thực, nó có thể giúp giảm bớt định kiến. Bằng cách cung cấp các trường hợp bất thường đại diện cho các khả năng hợp lý nhưng có thể là thách thức để lấy từ dữ liệu hợp pháp, dữ liệu tổng hợp có thể mang lại sự đa dạng hơn.
Dữ liệu tổng hợp có thể phù hợp tuyệt vời cho dự án của bạn vì những lý do được liệt kê dưới đây:
1. Độ bền của mô hình
Không cần phải lấy nó, hãy truy cập dữ liệu đa dạng hơn cho các mô hình của bạn. Với dữ liệu tổng hợp, bạn có thể đào tạo mô hình của mình bằng cách sử dụng các biến thể của cùng một người với nhiều kiểu cắt tóc, tóc trên khuôn mặt, đeo kính, tư thế đầu, v.v., cũng như màu da, đặc điểm dân tộc, cấu trúc xương, tàn nhang và các đặc điểm khác để tạo ra đối mặt và củng cố nó.
2. Các trường hợp cạnh được tính đến
Một sự cân bằng tập dữ liệu được máy học ưa thích các thuật toán. Hãy nhớ lại ví dụ của chúng tôi về nhận dạng khuôn mặt. Độ chính xác của các mô hình của họ sẽ được cải thiện (và trên thực tế, một số doanh nghiệp đã làm điều này), và họ sẽ tạo ra một mô hình đạo đức hơn nếu họ tạo ra dữ liệu tổng hợp về những khuôn mặt da sẫm màu hơn để lấp đầy khoảng trống dữ liệu của họ. Các nhóm có thể bao gồm tất cả các trường hợp sử dụng, bao gồm cả các trường hợp cạnh mà dữ liệu khan hiếm hoặc không tồn tại, với sự trợ giúp của dữ liệu tổng hợp.
3. Nó có thể được lấy nhanh hơn so với dữ liệu "thực tế"
Các nhóm có thể tạo ra một lượng lớn dữ liệu tổng hợp một cách nhanh chóng. Điều này đặc biệt hữu ích khi dữ liệu trong cuộc sống thực phụ thuộc vào các sự kiện lẻ tẻ. Các đội có thể gặp khó khăn trong việc thu thập đủ dữ liệu trong thế giới thực về các điều kiện đường xá khắc nghiệt trong khi thu thập dữ liệu về ô tô tự lái, chẳng hạn do chúng hiếm. Để tăng tốc quá trình chú thích tốn nhiều công sức, các nhà khoa học dữ liệu có thể đưa ra các thuật toán để tự động gắn nhãn dữ liệu tổng hợp khi nó được tạo ra.
4. Nó bảo mật thông tin riêng tư của người dùng
Các công ty có thể gặp khó khăn về bảo mật trong khi xử lý dữ liệu nhạy cảm, tùy thuộc vào lĩnh vực kinh doanh và loại dữ liệu. Ví dụ: thông tin sức khỏe cá nhân (PHI) thường được đưa vào dữ liệu bệnh nhân nội trú trong ngành chăm sóc sức khỏe và phải được xử lý bảo mật tối đa.
Vì dữ liệu tổng hợp không bao gồm thông tin về con người thực tế nên các vấn đề về quyền riêng tư được giảm bớt. Cân nhắc sử dụng dữ liệu tổng hợp như một giải pháp thay thế nếu nhóm của bạn phải tuân thủ các luật bảo mật dữ liệu nhất định.
Dữ liệu thực Vs Dữ liệu tổng hợp
Trong thế giới thực, dữ liệu thực được thu thập hoặc đo lường. Khi ai đó sử dụng điện thoại thông minh, máy tính xách tay hoặc máy tính, đeo đồng hồ đeo tay, truy cập trang web hoặc thực hiện giao dịch trực tuyến, loại dữ liệu này sẽ được tạo ngay lập tức.
Ngoài ra, các cuộc khảo sát có thể được sử dụng để cung cấp dữ liệu chính hãng (trực tuyến và ngoại tuyến). Cài đặt kỹ thuật số tạo ra dữ liệu tổng hợp. Ngoại trừ phần không có nguồn gốc từ bất kỳ sự kiện nào trong thế giới thực, dữ liệu tổng hợp được tạo theo cách bắt chước thành công dữ liệu thực về các chất lượng cơ bản.
Ý tưởng sử dụng dữ liệu tổng hợp để thay thế cho dữ liệu thực rất hứa hẹn vì nó có thể được sử dụng để cung cấp đào tạo dữ liệu mà máy học mô hình yêu cầu. Nhưng nó không chắc chắn rằng trí tuệ nhân tạo có thể giải quyết mọi vấn đề phát sinh trong thế giới thực tế.
Trường hợp sử dụng
Dữ liệu tổng hợp hữu ích cho nhiều mục đích thương mại, bao gồm đào tạo mô hình, xác nhận mô hình và thử nghiệm các sản phẩm mới. Chúng tôi sẽ liệt kê một số lĩnh vực đã dẫn đầu ứng dụng của nó vào học máy:
1. chăm sóc sức khỏe
Với độ nhạy của dữ liệu, lĩnh vực chăm sóc sức khỏe rất phù hợp để sử dụng dữ liệu tổng hợp. Dữ liệu tổng hợp có thể được các nhóm sử dụng để ghi lại đặc điểm sinh lý của mọi loại bệnh nhân có thể tồn tại, do đó hỗ trợ chẩn đoán bệnh nhanh chóng và chính xác hơn.
Mô hình phát hiện khối u ác tính của Google là một minh họa hấp dẫn về điều này vì nó kết hợp dữ liệu tổng hợp về những người có tông màu da sẫm hơn (một vùng dữ liệu lâm sàng đáng tiếc là không được trình bày đầy đủ) để cung cấp cho mô hình khả năng hoạt động hiệu quả cho mọi loại da.
KHAI THÁC. Ô tô
Trình mô phỏng thường được các công ty sản xuất ô tô tự lái sử dụng để đánh giá hiệu suất. Ví dụ: khi thời tiết khắc nghiệt, việc thu thập dữ liệu đường thực có thể gặp rủi ro hoặc khó khăn.
Dựa vào các bài kiểm tra trực tiếp với ô tô thực tế trên đường nhìn chung không phải là một ý kiến hay vì có quá nhiều biến số cần tính đến trong tất cả các tình huống lái xe khác nhau.
3. Tính khả chuyển của dữ liệu
Để có thể chia sẻ dữ liệu đào tạo của họ với những người khác, các tổ chức yêu cầu các phương pháp đáng tin cậy và an toàn. Ẩn thông tin nhận dạng cá nhân (PII) trước khi công khai tập dữ liệu là một ứng dụng hấp dẫn khác cho dữ liệu tổng hợp. Trao đổi tập dữ liệu nghiên cứu khoa học, dữ liệu y tế, dữ liệu xã hội học và các lĩnh vực khác có thể chứa PII, được gọi là dữ liệu tổng hợp bảo vệ quyền riêng tư.
4. An ninh
Các tổ chức an toàn hơn nhờ dữ liệu tổng hợp. Về ví dụ nhận dạng khuôn mặt của chúng tôi một lần nữa, bạn có thể quen thuộc với cụm từ "giả sâu", mô tả ảnh hoặc video bịa đặt. Các vụ giả mạo sâu có thể được tạo ra bởi các doanh nghiệp để kiểm tra hệ thống bảo mật và nhận dạng khuôn mặt của riêng họ. Dữ liệu tổng hợp cũng được sử dụng trong giám sát video để đào tạo các mô hình nhanh hơn và với chi phí rẻ hơn.
Dữ liệu tổng hợp và Máy học
Để xây dựng một mô hình vững chắc và đáng tin cậy, các thuật toán học máy cần một lượng dữ liệu đáng kể để xử lý. Trong trường hợp không có dữ liệu tổng hợp, việc tạo ra một khối lượng lớn dữ liệu như vậy sẽ là một thách thức.
Trong các lĩnh vực như thị giác máy tính hoặc xử lý hình ảnh, nơi mà sự phát triển của các mô hình được tạo điều kiện thuận lợi bởi sự phát triển của dữ liệu tổng hợp ban đầu, nó có thể có ý nghĩa cực kỳ lớn. Một bước phát triển mới trong lĩnh vực nhận dạng hình ảnh là việc sử dụng Mạng đối thủ chung (GAN). Thường bao gồm hai mạng: một máy phát điện và một bộ phân biệt.
Trong khi mạng phân biệt nhằm mục đích tách ảnh thực tế khỏi ảnh giả, mạng máy phát có chức năng tạo ra hình ảnh tổng hợp giống với hình ảnh trong thế giới thực hơn đáng kể.
Trong học máy, GAN là một tập con của họ mạng thần kinh, nơi cả hai mạng liên tục học hỏi và phát triển bằng cách thêm các nút và lớp mới.
Khi tạo dữ liệu tổng hợp, bạn có tùy chọn thay đổi môi trường và loại dữ liệu nếu cần để nâng cao hiệu suất của mô hình. Mặc dù độ chính xác cho dữ liệu tổng hợp có thể dễ dàng đạt được với điểm số cao, nhưng độ chính xác đối với dữ liệu thời gian thực được gắn nhãn đôi khi có thể cực kỳ đắt đỏ.
Bạn có thể tạo dữ liệu tổng hợp bằng cách nào?
Các phương pháp được sử dụng để tạo ra một bộ sưu tập dữ liệu tổng hợp như sau:
Dựa trên phân phối thống kê
Chiến lược được sử dụng trong trường hợp này là lấy các con số từ phân phối hoặc xem xét các phân phối thống kê thực tế để tạo ra dữ liệu sai có thể so sánh được. Dữ liệu thực có thể hoàn toàn không có trong một số trường hợp.
Một nhà khoa học dữ liệu có thể tạo một tập dữ liệu chứa một mẫu ngẫu nhiên của bất kỳ phân phối nào nếu anh ta hiểu sâu về phân phối thống kê trong dữ liệu thực tế. Phân phối chuẩn, phân phối hàm mũ, phân phối chi bình phương, phân phối chuẩn tắc và nhiều thứ khác chỉ là một vài ví dụ về phân phối xác suất thống kê có thể được sử dụng để làm điều này.
Mức độ kinh nghiệm của nhà khoa học dữ liệu với tình huống sẽ có tác động đáng kể đến độ chính xác của mô hình được đào tạo.
Tùy thuộc vào mô hình
Kỹ thuật này xây dựng một mô hình tính đến hành vi được quan sát trước khi sử dụng mô hình đó để tạo ra dữ liệu ngẫu nhiên. Về bản chất, điều này liên quan đến việc khớp dữ liệu thực với dữ liệu từ một phân phối đã biết. Phương pháp tiếp cận Monte Carlo sau đó có thể được các tập đoàn sử dụng để tạo dữ liệu giả.
Ngoài ra, các bản phân phối cũng có thể được trang bị bằng cách sử dụng mô hình học máy như cây quyết định. Nhà khoa học dữ liệu Tuy nhiên, phải chú ý đến dự báo, vì cây quyết định thường quá phù hợp do tính đơn giản và mở rộng chiều sâu của chúng.
Với học sâu
Học kĩ càng các mô hình sử dụng mô hình Bộ mã tự động biến đổi (VAE) hoặc Mạng đối phương chung (GAN) là hai cách để tạo dữ liệu tổng hợp. Các mô hình học máy không được giám sát bao gồm VAE.
Chúng được tạo thành từ các bộ mã hóa, thu nhỏ và nén dữ liệu ban đầu, và bộ giải mã, sẽ xem xét kỹ lưỡng dữ liệu này để cung cấp một biểu diễn của dữ liệu thực. Giữ cho dữ liệu đầu vào và đầu ra giống hệt nhau nhất có thể là mục tiêu cơ bản của VAE. Hai mạng nơ-ron đối lập là mô hình GAN và mạng đối nghịch.
Mạng đầu tiên, được gọi là mạng máy phát, chịu trách nhiệm sản xuất dữ liệu giả. Mạng phân biệt, mạng thứ hai, hoạt động bằng cách so sánh dữ liệu tổng hợp đã tạo với dữ liệu thực tế nhằm xác định xem tập dữ liệu có gian lận hay không. Bộ phân biệt cảnh báo bộ tạo khi nó phát hiện ra một tập dữ liệu không có thật.
Lô dữ liệu sau được cung cấp cho bộ phân biệt sau đó sẽ được bộ tạo sửa đổi. Kết quả là, bộ phân biệt trở nên tốt hơn theo thời gian trong việc phát hiện các tập dữ liệu không có thật. Loại mô hình này thường được sử dụng trong lĩnh vực tài chính để phát hiện gian lận cũng như trong lĩnh vực chăm sóc sức khỏe để chụp ảnh y tế.
Tăng cường dữ liệu là một phương pháp khác mà các nhà khoa học dữ liệu sử dụng để tạo ra nhiều dữ liệu hơn. Tuy nhiên, nó không nên bị nhầm lẫn với dữ liệu giả mạo. Nói một cách đơn giản, tăng dữ liệu là hành động thêm dữ liệu mới vào một tập dữ liệu chính hãng đã tồn tại.
Ví dụ: tạo nhiều ảnh từ một ảnh duy nhất bằng cách điều chỉnh hướng, độ sáng, độ phóng đại và hơn thế nữa. Đôi khi, tập dữ liệu thực tế được sử dụng chỉ còn lại thông tin cá nhân. Ẩn danh dữ liệu là gì, và một tập hợp dữ liệu như vậy cũng không được coi là dữ liệu tổng hợp.
Những thách thức và hạn chế của Dữ liệu tổng hợp
Mặc dù dữ liệu tổng hợp có nhiều lợi ích có thể hỗ trợ các công ty trong các hoạt động khoa học dữ liệu, nhưng nó cũng có một số hạn chế nhất định:
- Độ tin cậy của dữ liệu: Người ta thường biết rằng mọi mô hình học máy / học sâu chỉ tốt khi dữ liệu mà nó được cung cấp. Chất lượng của dữ liệu tổng hợp trong bối cảnh này liên quan chặt chẽ đến chất lượng của dữ liệu đầu vào và mô hình được sử dụng để tạo ra dữ liệu. Điều quan trọng là đảm bảo rằng không có thành kiến nào tồn tại trong dữ liệu nguồn, vì chúng có thể được phản ánh rất rõ ràng trong dữ liệu tổng hợp. Hơn nữa, trước khi đưa ra bất kỳ dự báo nào, chất lượng dữ liệu cần được xác nhận và xác minh.
- Yêu cầu kiến thức, nỗ lực và thời gian: Mặc dù việc tạo dữ liệu tổng hợp có thể đơn giản hơn và ít tốn kém hơn so với việc tạo dữ liệu chính hãng, nhưng nó cần một số kiến thức, thời gian và nỗ lực.
- Tái tạo các dị thường: Bản sao hoàn hảo của dữ liệu trong thế giới thực là không thể; dữ liệu tổng hợp chỉ có thể gần đúng với nó. Do đó, một số ngoại lệ tồn tại trong dữ liệu thực có thể không được dữ liệu tổng hợp bao gồm. Dữ liệu bất thường quan trọng hơn dữ liệu điển hình.
- Kiểm soát sản xuất và đảm bảo chất lượng: Dữ liệu tổng hợp nhằm tái tạo dữ liệu trong thế giới thực. Xác minh thủ công dữ liệu trở nên cần thiết. Điều cần thiết là phải xác minh tính chính xác của dữ liệu trước khi kết hợp nó vào các mô hình học máy / học sâu đối với các tập dữ liệu phức tạp được tạo tự động bằng các thuật toán.
- Người sử dụng thông tin phản hồi: Vì dữ liệu tổng hợp là một khái niệm mới lạ nên không phải ai cũng sẵn sàng tin vào những dự báo được đưa ra với nó. Điều này chỉ ra rằng để tăng khả năng chấp nhận của người dùng, trước tiên cần phải nâng cao kiến thức về tiện ích của dữ liệu tổng hợp.
Tương lai
Việc sử dụng dữ liệu tổng hợp đã tăng lên đáng kể trong thập kỷ trước. Mặc dù nó giúp các công ty tiết kiệm thời gian và tiền bạc, nhưng nó không phải là không có nhược điểm của nó. Nó thiếu các giá trị ngoại lai, vốn xuất hiện tự nhiên trong dữ liệu thực tế và rất quan trọng đối với độ chính xác trong một số mô hình.
Cũng cần lưu ý rằng chất lượng của dữ liệu tổng hợp thường phụ thuộc vào dữ liệu đầu vào được sử dụng để tạo; Các thành kiến trong dữ liệu đầu vào có thể nhanh chóng lan truyền vào dữ liệu tổng hợp, do đó, việc chọn dữ liệu chất lượng cao làm điểm khởi đầu không nên phóng đại.
Cuối cùng, nó cần kiểm soát đầu ra hơn nữa, bao gồm việc so sánh dữ liệu tổng hợp với dữ liệu thực do con người chú thích để xác minh rằng sự khác biệt không được đưa ra. Bất chấp những trở ngại này, dữ liệu tổng hợp vẫn là một lĩnh vực đầy hứa hẹn.
Nó giúp chúng tôi tạo ra các giải pháp AI mới ngay cả khi dữ liệu trong thế giới thực không có sẵn. Điều đáng kể nhất, nó cho phép các doanh nghiệp xây dựng các sản phẩm bao trùm hơn và thể hiện sự đa dạng của người tiêu dùng cuối cùng của họ.
Tuy nhiên, trong tương lai theo hướng dữ liệu, dữ liệu tổng hợp có ý định giúp các nhà khoa học dữ liệu thực hiện các nhiệm vụ mới và sáng tạo sẽ là thách thức để hoàn thành chỉ với dữ liệu trong thế giới thực.
Kết luận
Trong một số trường hợp nhất định, dữ liệu tổng hợp có thể giảm bớt tình trạng thâm hụt dữ liệu hoặc thiếu dữ liệu có liên quan trong một doanh nghiệp hoặc tổ chức. Chúng tôi cũng đã xem xét những chiến lược nào có thể hỗ trợ trong việc tạo ra dữ liệu tổng hợp và ai có thể thu lợi từ nó.
Chúng tôi cũng đã nói về một số khó khăn khi xử lý dữ liệu tổng hợp. Đối với việc ra quyết định thương mại, dữ liệu thực sẽ luôn được ưu tiên. Tuy nhiên, dữ liệu thực tế là lựa chọn tốt nhất tiếp theo khi dữ liệu thô thực sự không thể truy cập được để phân tích.
Tuy nhiên, cần phải nhớ rằng để tạo ra dữ liệu tổng hợp, cần phải có các nhà khoa học dữ liệu có kiến thức vững chắc về mô hình dữ liệu. Việc hiểu toàn bộ dữ liệu thực và môi trường xung quanh cũng là điều cần thiết. Điều này là cần thiết để đảm bảo rằng, nếu có, dữ liệu được tạo ra càng chính xác càng tốt.
Bình luận