İçindekiler[Saklamak][Göstermek]
- 1. CelebFaces Nitelikleri Veri Kümesi
- 2.DOTA
- 3. Google Yüz İfadesi karşılaştırma veri kümesi
- 4. Görsel Genom
- 5. Kitaplık Konuşması
- 6. Şehir Alanları
- 7. Kinetik Veri Kümesi
- 8. CelebAMask-HQ
- 9. Penn Ağaç Bankası
- 10. VoxÜnlü
- 11. ALTI ışını
- 12. ABD Kazaları
- 13. Oküler Hastalık Tanıma
- 14. Kalp Hastalığı
- 15. Zeki
- 16. Evrensel Bağımlılıklar
- 17. KİTTİ – 360
- 18. MOT(Çoklu Nesne Takibi)
- 19.PASCAL 3D+
- 20. Hayvanların Yüzlerinde Deforme Olabilen Modeller
- 21. MPII İnsan Post Veri Kümesi
- 22.UCF101
- 23. Ses seti
- 24. Stanford Doğal Dil Çıkarımı
- 25. Görsel Soru Cevaplama
- Sonuç
Günümüzde çoğumuz makine öğrenimi ve yapay zeka modelleri geliştirmeye ve mevcut veri kümelerini kullanarak sorunları çözmeye odaklanmış durumdayız. Ancak önce, bir veri kümesini, önemini ve güçlü AI ve ML çözümleri geliştirmedeki rolünü tanımlamalıyız.
Bugün, çeşitli sektörlerde gerçek dünya sorunlarının üstesinden gelmek için araştırma yapmak veya uygulamalar geliştirmek için çok sayıda açık kaynaklı veri kümesine sahibiz.
Bununla birlikte, yüksek kaliteli nicel veri kümelerinin azlığı bir endişe kaynağıdır. Veriler son derece arttı ve gelecekte daha hızlı bir oranda genişlemeye devam edecek.
Bu yazıda, bir sonraki AI projenizi geliştirmek için kullanabileceğiniz ücretsiz olarak mevcut veri kümelerini ele alacağız.
1. CelebFaces Nitelikleri Veri Kümesi
CelebFaces Nitelik Veri Kümesi (CelebA), 200'in üzerinde ünlü fotoğrafı ve her görüntü için 40 özellik notu içerir, bu da onu aşağıdakiler gibi projeler için mükemmel bir başlangıç noktası yapar: yüz tanıma, yüz algılama, yer işareti (veya yüz bileşeni) yerelleştirme ve yüz düzenleme ve sentezi. Ayrıca, bu koleksiyondaki fotoğraflar çok çeşitli konum değişkenleri ve arka plan dağınıklığı içerir.
2. DOTA
DOTA (veri kümesi Nesne algılama Hava Fotoğraflarında), 15 ortak kategori (örneğin, gemi, uçak, araba, vb.), eğitim için 1411 görüntü ve doğrulama için 458 görüntü içeren nesne algılama için büyük ölçekli bir veri kümesidir.
3. Google Yüz İfadesi karşılaştırma veri kümesi
Google yüz ifadesi karşılaştırma veri kümesi, 500,000 yüz fotoğrafı dahil olmak üzere yaklaşık 156,000 resim üçlüsü içerir. Bu veri kümesindeki her üçlüye en az altı insan değerlendirici tarafından açıklama eklendiğini belirtmekte fayda var.
Bu veri seti, ifadeye dayalı resim alma, duygu kategorizasyonu, ifade sentezi vb. gibi yüz ifadesi analizini içeren projeler için kullanışlıdır. Veri kümesine erişmek için kısa bir form doldurulmalıdır.
4. Görsel Genom
Çoktan seçmeli bir ortamda Görsel Soru Yanıtlama verileri Visual Genome'da mevcuttur. Resim başına ortalama 101,174 soru ile 1.7 milyon QA çifti ile 17 MSCOCO fotoğrafından oluşur.
Görsel Soru Yanıtlama veri kümesine kıyasla, Görsel Genom veri kümesi altı soru türünde daha adil bir dağılıma sahiptir: Ne, Nerede, Ne Zaman, Kim, Neden ve Nasıl.
Ek olarak, Visual Genome veri kümesi, nesneler, özellikler ve bağlantılarla yoğun bir şekilde etiketlenmiş 108K fotoğraf içerir.
5. librikonuşma
LibriSpeech külliyatı, LibriVox projesinden yaklaşık 1,000 saatlik sesli kitap koleksiyonudur. Sesli kitapların çoğu Project Gutenberg'den geliyor.
Eğitim verileri 100 saat, 360 saat ve 500 saat setlerinden oluşan üç bölüme ayrılırken geliştirme ve test verilerinin ses uzunluğu kabaca 5 saattir.
6. Şehir Alanları
Şehir manzaralı stereo videoların en iyi bilinen büyük ölçekli veritabanlarından biri Şehir Manzaraları olarak adlandırılır.
GPS konumlarını, dış ortam sıcaklığını, ego-hareket verilerini ve doğru stereo perspektifleri içeren piksel doğruluğunda ek açıklamalarla, 50 farklı Alman şehrinden kayıtları içerir.
7. Kinetik Veri Kümesi
İnsan etkinliğini büyük ölçekte ve iyi kalitede tanımak için en iyi bilinen video veri kümelerinden biri Kinetik veri kümesidir. 600 insan etkinliği sınıfının her biri için toplamda 600'den fazla olmak üzere en az 500,000 video klip vardır.
Filmler YouTube'dan alındı; her biri yaklaşık 10 saniye uzunluğundadır ve yalnızca bir aktivite sınıfı listelenmiştir.
8. CelebAMask-HQ
CelebAMask-HQ, cilt, burun, gözler, kaşlar, kulaklar, ağız, dudak, saç, şapka, gözlük, küpe, kolye gibi yüz bileşenlerini içeren 30,000 sınıf ve özenle açıklamalı maskeler içeren 19 yüksek çözünürlüklü yüz fotoğrafından oluşan bir koleksiyondur. boyun, malzeme.
Veri kümesi, yüz oluşturma ve düzenleme algoritmaları için yüz tanıma, yüz ayrıştırma ve GAN'ları test etmek ve eğitmek için kullanılabilir.
9. Penn Ağaç Bankası
Dizi etiketleme için modellerin değerlendirilmesi için en dikkate değer ve sıklıkla kullanılan derlemlerden biri İngiliz Penn Treebank (PTB) derlemidir, özellikle de derlemin Wall Street Journal makalelerine karşılık gelen kısmıdır.
Her kelimenin, görevin bir bileşeni olarak etiketlenmiş konuşma parçası olmalıdır. Karakter seviyesi ve kelime seviyesi dil modelleme korpusu da sıklıkla kullanır.
10 VoxÜnlü
VoxCeleb, otomatik olarak oluşturulan büyük ölçekli bir konuşma tanımlama veri setidir. açık kaynaklı medya. VoxCeleb, 6 binden fazla konuşmacıdan bir milyonun üzerinde söze sahiptir.
Veri seti görsel-işitsel içerdiğinden, görsel konuşma sentezi, konuşma ayırma, yüzden sese veya tam tersi modlar arası aktarım ve mevcut yüz tanımayı desteklemek için videodan yüz tanıma eğitimi dahil olmak üzere çeşitli ek uygulamalar için kullanılabilir. veri kümeleri.
11 ALTIray
SIXray veri seti, metro istasyonlarından toplanan ve insan güvenliği müfettişleri tarafından altı ana tür yasaklı öğeyi tespit etmek için açıklama eklenen 1,059,231 X-ray resmini içerir: tabancalar, bıçaklar, anahtarlar, penseler, makaslar ve çekiçler. Ayrıca, nesne yerelleştirme performansını değerlendirmek için izin verilmeyen her öğe için sınırlayıcı kutular test setlerine manuel olarak eklendi.
12 ABD Kazaları
Projenin özü, veri kümesinin adı olan ABD Kazaları tarafından zaten ortaya konmuştur. Ülke çapındaki otomobil kazalarına ilişkin bu veri seti, Şubat 2016'dan Aralık 2021'e kadar olan bilgileri içerir ve ABD'deki 49 eyaleti kapsar.
Bu koleksiyonda şu anda yaklaşık 1.5 milyon kaza kaydı bulunmaktadır. Birkaç trafik API'si kullanılarak gerçek zamanlı olarak toplanmıştır.
Bu API'ler, trafik kameraları, kolluk kuvvetleri kuruluşları ve ABD ve eyalet ulaşım departmanları dahil olmak üzere çeşitli kaynaklardan toplanan trafik bilgilerini iletir.
13 Oküler Hastalık Tanıma
Organize oftalmik veri tabanı Oküler Hastalık Akıllı Tanıma (ODIR), yaşları, sol ve sağ gözlerindeki fundus rengi ve tıp uzmanlarının teşhis anahtar kelimeleri dahil olmak üzere 5,000 hasta hakkında bilgi içerir.
Bu veri seti, Shanggong Medical Technology Co., Ltd.'nin Çin'deki çeşitli hastanelerden ve tıbbi tesislerden alınan hasta verilerinin gerçek bir koleksiyonudur. İle birlikte kalite kontrol yönetimi, ek açıklamalar yetenekli insan okuyucular tarafından etiketlendi.
14 Kalp hastalığı
Bu Kalp hastalığı veri seti, yaş, cinsiyet, göğüs ağrısı türü, istirahat kan basıncı vb. gibi 76 parametreye dayalı olarak bir hastada kalp hastalığının varlığını belirlemeye yardımcı olur.
303 vaka ile, veritabanı bir hastalığın varlığını (değer 1,2,3,4) yokluğunu (0 değeri) basitçe ayırt etmeye çalışır.
15 CLEVR
CLEVR veri seti (Bileşimsel Dil ve Temel Görsel Akıl Yürütme) Görsel Soru Yanıtlamayı taklit eder. Her bir fotoğrafa çeşitli kategorilere ayrılmış bir dizi yüksek düzeyde kompozisyon sorusu eşlik eden 3B işlenmiş nesnelerin fotoğraflarından oluşur.
Tüm tren ve doğrulama resimleri ve soruları için veri seti, 70,000 fotoğraf ve eğitim için 700,000 soru, doğrulama için 15,000 görüntü ve 150,000 soru ve nesneler, yanıtlar, sahne grafikleri ve işlevsel programları içeren test için 15,000 görüntü ve 150,000 soru içerir.
16 Evrensel Bağımlılıklar
Evrensel Bağımlılıklar (UD) projesi, birçok dil için diller arası tek biçimli morfoloji ve sözdizimi ağaç bankası açıklamaları oluşturmayı amaçlar. 2.7'de piyasaya sürülen 2020 sürümü, 183 dilde 104 ağaç bankasına sahiptir.
Açıklama, evrensel POW etiketlerinden, bağımlılık başlıklarından ve evrensel bağımlılık etiketlerinden oluşur.
17 KITI – 360
Mobil robotlar için en sık kullanılan veri kümelerinden biri ve özerk sürüş KITTI'dir (Karlsruhe Teknoloji Enstitüsü ve Toyota Teknoloji Enstitüsü).
Yüksek çözünürlüklü RGB, gri tonlamalı stereo ve 3D lazer tarayıcı kameralar gibi bir dizi sensör modalitesi kullanılarak yakalanan saatlerce süren trafik senaryolarından oluşur. Veri seti, ihtiyaçlarına göre çeşitli bölümlerine manuel olarak açıklama ekleyen birkaç araştırmacı tarafından zaman içinde geliştirilmiştir.
18 MOT(Çoklu Nesne İzleme)
MOT (Çoklu Nesne Takibi), yayaları ilgilenilen nesneler olarak içeren halka açık konumların iç ve dış mekan manzaralarını içeren çoklu nesne takibi için bir veri kümesidir. Her sahnenin videosu, biri eğitim ve diğeri test için olmak üzere iki parçaya bölünmüştür.
Veri kümesi şunları içerir: nesne algılamaları üç dedektör kullanarak video karelerinde: SDP, Faster-RCNN ve DPM.
19 PASKAL 3D+
Pascal3D+ çoklu görünüm veri seti, vahşi ortamda toplanan fotoğraflardan, yani kontrolsüz koşullarda, kalabalık ortamlarda ve çeşitli konumlarda yakalanmış, yüksek değişkenliğe sahip öğe kategorilerinin görüntülerinden oluşur. Pascal3D+, PASCAL VOC 12 veri setinden alınan 2012 katı nesne kategorisini içerir.
Bu öğelerin üzerinde işaretlenmiş duruş bilgileri vardır (azimut, yükseklik ve kameraya olan mesafe). Pascal3D+ ayrıca bu 12 kategoride ImageNet koleksiyonundan poz açıklamalı fotoğraflar içerir.
20 Hayvanların Yüzlerinde Deforme Olabilen Modeller
Facial Deformable Models of Animals (FDMA) projesinin amacı, insan yüzünün dönüm noktası tanımlama ve takibinde mevcut metodolojilere meydan okumak ve hayvan yüz özelliklerinin karakteristiği olan oldukça büyük değişkenlikle başa çıkabilen yeni algoritmalar geliştirmektir.
Projenin algoritmaları, yüz duyguları veya konumlarındaki değişiklikler, kısmi tıkanıklıklar ve ışıklandırmanın neden olduğu farklılıklarla uğraşırken insan yüzlerindeki yer işaretlerini tanıma ve izleme yeteneğini gösterdi.
21 MPII İnsan Gönderi Veri Kümesi
MPII İnsan Poz Veri Kümesi, 25K'sı eğitim örnekleri, 15K'sı doğrulama örnekleri ve 3K'sı test örnekleri olmak üzere yaklaşık 7K fotoğraf içerir.
Konumlar, 16 adede kadar vücut eklemi ile manuel olarak etiketlenir ve fotoğraflar 410 çeşitli insan faaliyetini kapsayan YouTube filmlerinden alınır.
22 UCF101
UCF101 veri seti, 13,320 kategoride düzenlenmiş 101 video klip içerir. Bu 101 kategori beş kategoriye ayrılmıştır: bedensel hareketler, insan-insan etkileşimleri, insan-nesne etkileşimleri, müzik aleti çalma ve spor.
Videolar YouTube'dandır ve süresi 27 saattir.
23 ses seti
Audioset, 2 milyonun üzerinde insan açıklamalı 10 saniyelik video bölümünden oluşan bir ses olayı veri setidir. Bu verilere açıklama eklemek için, aynı sesin farklı şekilde etiketlenebileceğini ima eden 632 olay tipini içeren hiyerarşik bir ontoloji kullanılır.
24 Stanford Doğal Dil Çıkarımı
SNLI veri seti (Stanford Natural Language Inference), gereklilik, çelişki veya nötr olarak manuel olarak kategorize edilmiş 570 bin cümle eşleştirmesi içerir.
Öncüller Flickr30k resim açıklamalarıdır, hipotezler ise bir öncül sağlanan ve gerekli, çelişkili ve tarafsız ifadeler üretmeleri talimatı verilen kitle kaynaklı yorumcular tarafından geliştirilmiştir.
25 Görsel Soru Cevaplama
Görsel Soru Yanıtlama (VQA), resimlerle ilgili açık uçlu soruları içeren bir veri setidir. Bu soruları cevaplamak için vizyonu, dili ve sağduyuyu kavramanız gerekir.
Sonuç
Makine öğrenimi ve yapay zeka (AI) hemen hemen her işte ve günlük hayatımızda daha yaygın hale geldikçe, konuyla ilgili mevcut kaynak ve bilgi sayısı da artıyor.
Hazır kamuya açık veri kümeleri, yapay zeka modelleri geliştirmek için harika bir başlangıç noktası sağlarken aynı zamanda deneyimli makine öğrenimi programcılarının zamandan tasarruf etmesine ve projelerinin diğer öğelerine odaklanmasına olanak tanır.
Yorum bırak