Mündəricat[Gizlət][Göstər]
- 1. CelebFaces Atributları Dataset
- 2. DOTA
- 3. Google Üz İfadəsi müqayisə məlumat dəsti
- 4. Vizual Genom
- 5. LibriSpeech
- 6. Şəhər məkanları
- 7. Kinetik məlumat toplusu
- 8. CelebAMask-HQ
- 9. Penn Treebank
- 10. VoxCeleb
- 11. SIXray
- 12. ABŞ Qəzaları
- 13. Göz Xəstəliklərinin Tanınması
- 14. Ürək xəstəliyi
- 15. CLEVR
- 16. Universal asılılıqlar
- 17. KITTI – 360
- 18. MOT (Birdən çox Obyekt İzləmə)
- 19. PASCAL 3D+
- 20. Heyvanların Üz Deformasiyaya uğrayan Modelləri
- 21. MPII Human Post Dataset
- 22. UCF101
- 23. Audioset
- 24. Stanford Təbii Dil Nəticəsi
- 25. Vizual suallara cavab
- Nəticə
Hal-hazırda, əksəriyyətimiz maşın öyrənməsi və AI modellərini inkişaf etdirməyə və cari məlumat dəstlərindən istifadə edərək problemlərin həllinə yönəlmişik. Lakin əvvəlcə biz verilənlər bazasını, onun əhəmiyyətini və güclü AI və ML həllərinin hazırlanmasında rolunu müəyyən etməliyik.
Bu gün biz müxtəlif sektorlarda real dünya problemlərini həll etmək üçün araşdırma aparmaq və ya tətbiqlər hazırlamaq üçün çoxlu açıq mənbəli verilənlər bazasına sahibik.
Bununla belə, yüksək keyfiyyətli kəmiyyət məlumat toplularının çatışmazlığı narahatlıq mənbəyidir. Məlumat hədsiz dərəcədə artıb və gələcəkdə daha sürətlə genişlənməyə davam edəcək.
Bu yazıda növbəti AI layihənizi inkişaf etdirmək üçün istifadə edə biləcəyiniz sərbəst mövcud məlumat dəstlərini əhatə edəcəyik.
1. CelebFaces Atributları Data Seti
CelebFaces Atributları Datasetində (CelebA) 200K-dan çox məşhur fotoşəkili və hər bir şəkil üçün 40 atribut annotasiyası var ki, bu da onu layihələr üçün əla başlanğıc nöqtəsi edir. üz tanıma, üz aşkarlanması, əlamətdar nişanın (və ya üz komponentinin) lokalizasiyası və üzün redaktəsi və sintezi. Bundan əlavə, bu kolleksiyadakı fotoşəkillər geniş çeşidli mövqe variantlarını və fon qarışıqlığını ehtiva edir.
2. DOTA
DOTA (Məlumat toplusu Obyektlərin aşkarlanması Hava Fotolarında) 15 ümumi kateqoriyanı (məsələn, gəmi, təyyarə, avtomobil və s.), təlim üçün 1411 təsviri və təsdiqləmə üçün 458 təsviri özündə birləşdirən obyekt aşkarlanması üçün geniş miqyaslı verilənlər toplusudur.
3. Google Üz İfadəsi müqayisə məlumat dəsti
Google üz ifadəsi müqayisəsi verilənlər bazası 500,000 156,000 üz şəkli də daxil olmaqla, təxminən XNUMX XNUMX şəkil üçlüyü ehtiva edir. Qeyd etmək lazımdır ki, bu verilənlər bazasındakı hər üçlük ən azı altı insan qiymətləndiricisi tərəfindən şərh edilmişdir.
Bu verilənlər bazası üz ifadəsi təhlilini əhatə edən layihələr üçün faydalıdır, məsələn, ifadəyə əsaslanan şəkil axtarışı, emosiyaların təsnifatı, ifadə sintezi və s. Verilənlər toplusuna giriş əldə etmək üçün qısa forma doldurulmalıdır.
4. Vizual Genom
Çox seçimli mühitdə vizual suala cavab verən məlumat Visual Genome-də mövcuddur. O, 101,174 milyon QA cütü olan 1.7 MSCOCO fotoşəkilindən ibarətdir və hər şəkilə orta hesabla 17 sual daxildir.
Vizual Suallara Cavab Vermə verilənlər bazası ilə müqayisədə Vizual Genom verilənlər bazası altı sual növü üzrə daha ədalətli paylanmaya malikdir: Nə, Harada, Nə vaxt, Kim, Niyə və Necə.
Bundan əlavə, Visual Genome verilənlər bazasına obyektlər, xassələr və əlaqələrlə sıx işarələnmiş 108K fotoşəkil daxildir.
5. LibriSpeech
LibriSpeech korpusu LibriVox layihəsindən 1,000 saata yaxın audiokitabların toplusudur. Audiokitabların əksəriyyəti Qutenberq Layihəsindən qaynaqlanır.
Təlim məlumatları 100 saat, 360 saat və 500 saat dəstdən ibarət üç hissəyə bölünür, inkişaf və sınaq məlumatları isə audio uzunluğunda təxminən 5 saatdır.
6. Şəhər məkanları
Şəhər mənzərələri olan stereo videoların ən məşhur geniş miqyaslı məlumat bazalarından biri The Cityscapes adlanır.
GPS yerləri, açıq hava temperaturu, eqo-hərəkət məlumatları və düzgün stereo perspektivləri özündə cəmləşdirən piksel dəqiqliyi ilə annotasiyalara 50 fərqli Almaniya şəhərindən olan qeydlər daxildir.
7. Kinetik məlumat toplusu
İnsan fəaliyyətinin geniş miqyasda və keyfiyyətli şəkildə tanınması üçün ən məşhur video verilənlər bazalarından biri Kinetika verilənlər bazasıdır. Ümumilikdə 600-dən çox olan 600 insan fəaliyyəti sinfinin hər biri üçün ən azı 500,000 video klip var.
Filmlər YouTube-dan götürülüb; hər biri təxminən 10 saniyə uzunluğundadır və siyahıda yalnız bir fəaliyyət sinfi var.
8. CelebAMask-HQ
CelebAMask-HQ diqqətlə şərh edilmiş maskalar və dəri, burun, gözlər, qaşlar, qulaqlar, ağız, dodaq, saç, papaq, eynək, sırğa, boyunbağı, boyun, material.
Verilənlər dəsti üz yaradan və redaktə alqoritmləri üçün sifətin tanınması, üz təhlili və GAN-ları sınaqdan keçirmək və öyrətmək üçün istifadə edilə bilər.
9. Penn Treebank
Ardıcıllıqla etiketləmə üçün modellərin qiymətləndirilməsi üçün ən diqqətəlayiq və tez-tez istifadə olunan korpuslardan biri İngilis Penn Treebank (PTB) korpusudur, xüsusən də korpusun Wall Street Journal məqalələrinə uyğun olan hissəsidir.
Hər bir sözün nitq hissəsi tapşırığın tərkib hissəsi kimi işarələnməlidir. Xarakter səviyyəsində və söz səviyyəsində dil modelləşdirmə korpusdan da tez-tez istifadə edir.
10. VoxCeleb
VoxCeleb avtomatik olaraq yaradılan geniş miqyaslı nitq identifikasiyası verilənlər bazasıdır açıq mənbəli media. VoxCeleb-də 6k-dan çox spikerdən bir milyondan çox çıxış var.
Verilənlər toplusuna audio-vizual daxil olduğundan, o, vizual nitqin sintezi, nitqin ayrılması, üzdən səsə və ya əksinə çarpaz modal köçürmə və cari üz tanınmasını əlavə etmək üçün videodan üz tanıma təlimi daxil olmaqla, müxtəlif əlavə proqramlar üçün istifadə edilə bilər. verilənlər dəstləri.
11. SIXray
SIXray məlumat toplusuna metro stansiyalarından toplanmış və altı əsas növ qadağan olunmuş əşyaları aşkar etmək üçün insan təhlükəsizlik müfəttişləri tərəfindən qeyd edilmiş 1,059,231 rentgen şəkli daxildir: tapança, bıçaq, açar, kəlbətin, qayçı və çəkic. Bundan əlavə, hər bir icazə verilməyən element üçün məhdudlaşdırıcı qutular obyektin lokallaşdırılmasının performansını qiymətləndirmək üçün sınaq dəstlərinə əl ilə əlavə edilmişdir.
12. ABŞ Qəzaları
Layihənin mahiyyəti artıq məlumat dəstinin adı, ABŞ Qəzaları ilə açıqlanır. Ümummilli avtomobil qəzalarına dair bu verilənlər bazası 2016-cı ilin fevralından 2021-ci ilin dekabrına qədər olan məlumatları əhatə edir və ABŞ-ın 49 ştatını əhatə edir.
İndi bu kolleksiyada təxminən 1.5 milyon qəza qeydləri mövcuddur. Bir neçə trafik API-lərindən istifadə etməklə real vaxt rejimində toplanmışdır.
Bu API-lər müxtəlif mənbələrdən, o cümlədən trafik kameralarından, hüquq-mühafizə orqanlarından, ABŞ və dövlət nəqliyyat departamentlərindən toplanmış trafik məlumatlarını ötürür.
13. Göz Xəstəliklərinin Tanınması
Mütəşəkkil oftalmoloji məlumat bazası Ocular Disease Intelligent Recognition (ODIR) 5,000 xəstə haqqında məlumatı, o cümlədən onların yaşını, sol və sağ gözlərindəki göz dibinin rəngini və tibb mütəxəssislərinin diaqnostik açar sözlərini ehtiva edir.
Bu məlumat toplusu Shanggong Medical Technology Co., Ltd.-nin əldə etdiyi Çindəki müxtəlif xəstəxana və tibb müəssisələrindən faktiki xəstə məlumat toplusudur. ilə keyfiyyətə nəzarətin idarə edilməsi, annotasiyalar təcrübəli insan oxucular tərəfindən işarələnib.
14. Ürəkağrısı
Bu Ürək xəstəliyi məlumat toplusu yaş, cins, sinə ağrısı növü, istirahət zamanı qan təzyiqi və s. kimi 76 parametr əsasında xəstədə ürək xəstəliyinin mövcudluğunu müəyyən etməyə kömək edir.
303 hadisə ilə verilənlər bazası sadəcə olaraq xəstəliyin varlığını (dəyər 1,2,3,4) onun yoxluğundan (dəyər 0) fərqləndirməyə çalışır.
15. CLEVR
CLEVR verilənlər bazası (Kompozisiya Dili və Elementar Vizual Müzakirə) Vizual Sual Cavabını təqlid edir. O, 3D-render edilmiş obyektlərin fotoşəkillərindən ibarətdir və hər bir fotoşəkil bir neçə kateqoriyaya bölünmüş yüksək kompozisiyaya uyğun suallarla müşayiət olunur.
Bütün məşq və təsdiqləmə şəkilləri və sualları üçün verilənlər bazası təlim üçün 70,000 fotoşəkil və 700,000 sualdan, təsdiq üçün 15,000 şəkil və 150,000 sualdan və obyektlər, cavablar, səhnə qrafikləri və funksiyaları əhatə edən sınaq üçün 15,000 şəkil və 150,000 sualdan ibarətdir.
16. Universal asılılıqlar
Universal Dependencies (UD) layihəsi bir çox dillər üçün dillərarası vahid morfologiya və sintaksis ağac bankı annotasiyası yaratmaq məqsədi daşıyır. 2.7-ci ildə buraxılmış 2020 versiyasında 183 dildə 104 ağac yarpağı var.
Annotasiya universal POW teqlərindən, asılılıq başlıqlarından və universal asılılıq etiketlərindən ibarətdir.
17. KITTI - 360
Mobil robotlar üçün ən çox istifadə olunan məlumat dəstlərindən biri və muxtar sürücülük KITTI (Karlsrue Texnologiya İnstitutu və Toyota Texnoloji İnstitutu).
O, yüksək ayırdetməli RGB, boz tonlu stereo və 3D lazer skaner kameraları kimi bir sıra sensor üsullarından istifadə etməklə çəkilmiş bir neçə saatlıq trafik ssenarilərindən ibarətdir. Verilənlər dəsti vaxt keçdikcə bir neçə tədqiqatçı tərəfindən təkmilləşdirilmiş və onların ehtiyaclarına uyğun olaraq onun müxtəlif hissələrinə əl ilə qeydlər verilmişdir.
18. MOT (Birdən çox Obyekt İzləmə)
MOT (Multiple Object Tracking), piyadaların maraq obyekti kimi daxil olduğu ictimai yerlərin qapalı və açıq mənzərələrini özündə birləşdirən çoxsaylı obyektlərin izlənilməsi üçün verilənlər toplusudur. Hər bir səhnənin videosu biri təlim, digəri isə sınaq üçün iki hissəyə bölünür.
Dataset daxildir obyekt aşkarlamaları üç detektordan istifadə edərək video çərçivələrdə: SDP, Faster-RCNN və DPM.
19. PASCAL 3D+
Pascal3D+ çox görünüşlü verilənlər bazası vəhşi təbiətdə toplanmış fotoşəkillərdən, yəni nəzarət olunmayan şəraitdə, izdihamlı mühitlərdə və müxtəlif mövqelərdə çəkilmiş yüksək dəyişkənliyə malik element kateqoriyalarının təsvirlərindən ibarətdir. Pascal3D+ proqramına PASCAL VOC 12 verilənlər bazasından çəkilmiş 2012 sərt obyekt kateqoriyası daxildir.
Bu elementlərin üzərində duruş məlumatları (azimut, yüksəklik və kameraya olan məsafə) qeyd olunur. Pascal3D+ əlavə olaraq bu 12 kateqoriyada ImageNet kolleksiyasından poza annotasiyalı fotoşəkilləri ehtiva edir.
20. Heyvanların Üz Deformasiyaya uğrayan Modelləri
Heyvanların Üz Deformasiyaya uğrayan Modelləri (FDMA) layihəsinin məqsədi insan üzünün əlamətdar nişanələrinin identifikasiyası və izlənməsində mövcud metodologiyalara meydan oxumaq və heyvanların üz xüsusiyyətlərinə xas olan xeyli böyük dəyişkənliklə məşğul ola biləcək yeni alqoritmlər hazırlamaqdır.
Layihənin alqoritmləri üz emosiyaları və ya mövqelərindəki dəyişikliklər, qismən tıxanmalar və işıqlandırma nəticəsində yaranan fərqlərlə məşğul olarkən, insan üzlərindəki işarələri tanımaq və izləmək qabiliyyətini nümayiş etdirdi.
21. MPII Human Post Dataset
MPII İnsan Pose Datasetində 25K təlim nümunələri, 15K doğrulama nümunələri və 3K sınaq nümunələri olmaqla təxminən 7K fotoşəkil var.
Vəzifələr əl ilə 16-a qədər bədən oynağı ilə etiketlənir və fotoşəkillər 410 müxtəlif insan fəaliyyətini əhatə edən YouTube filmlərindən götürülür.
22. UCF101
UCF101 verilənlər bazası 13,320 kateqoriyaya bölünmüş 101 video klipdən ibarətdir. Bu 101 kateqoriya beş kateqoriyaya bölünür: bədən hərəkətləri, insan-insan qarşılıqlı əlaqəsi, insan-obyekt qarşılıqlı əlaqəsi, musiqi alətində ifaçılıq və idman.
Videolar YouTube-dandır və 27 saat davam edir.
23. Audioset
Audioset 2 milyondan çox insan tərəfindən şərh edilmiş 10 saniyəlik video seqmentindən ibarət audio hadisə verilənlər toplusudur. Bu məlumatı şərh etmək üçün 632 hadisə növündən ibarət iyerarxik ontologiyadan istifadə olunur ki, bu da eyni səsin fərqli olaraq etiketlənə biləcəyini nəzərdə tutur.
24. Stanford Təbii Dil Nəticəsi
SNLI verilənlər bazası (Stanford Natural Language Inference) əl ilə səbəb, ziddiyyət və ya neytral kimi təsnif edilmiş 570k cümlə cütləşməsini ehtiva edir.
Obyektlər Flickr30k şəkil təsvirləridir, fərziyyələr isə müqəddimə ilə təmin edilmiş və səbəb olan, ziddiyyətli və neytral ifadələr yaratmaq tapşırılan izdiham qaynaqlı annotatorlar tərəfindən hazırlanmışdır.
25. Vizual suala cavab
Vizual Suallara Cavab Vermə (VQA) şəkillərlə bağlı açıq sualları ehtiva edən məlumat toplusudur. Bu suallara cavab vermək üçün görmə qabiliyyətini, dili və sağlam düşüncəni qavramaq lazımdır.
Nəticə
Maşın öyrənməsi və süni intellekt (AI) praktiki olaraq hər bir işdə və gündəlik həyatımızda daha çox yayıldıqca, bu mövzuda mövcud olan resursların və məlumatların sayı da artır.
Hazır ictimai verilənlər bazaları AI modellərini inkişaf etdirmək üçün əla başlanğıc nöqtəsi təmin edir, eyni zamanda təcrübəli ML proqramçılarına vaxta qənaət etməyə və layihələrinin digər elementlərinə diqqət yetirməyə imkan verir.
Cavab yaz