Ихэнх машин сургалтын болон гүнзгий сургалтын загварууд сайн ажиллахын тулд өгөгдлийн хэмжээ, төрөл зүйлээс ихээхэн хамаардаг. Сургалтын явцад өгсөн мэдээллийн хэмжээ, олон янз байдал нь эдгээр загваруудын таамаглалын үнэн зөв байдалд ихээхэн нөлөөлдөг.
Нарийн төвөгтэй даалгавруудыг үр дүнтэй гүйцэтгэхийг заасан гүнзгий суралцах загваруудад ихэвчлэн далд мэдрэлийн эсүүд ордог. Далд мэдрэлийн эсийн тооноос хамааран сургах боломжтой параметрүүдийн тоо нэмэгддэг.
Шаардлагатай өгөгдлийн хэмжээ нь загварт суралцах боломжтой параметрүүдийн тоотой пропорциональ байна. Хязгаарлагдмал өгөгдлийн хүндрэлтэй тэмцэх нэг арга бол шинэ өгөгдлийг нэгтгэхийн тулд одоогийн өгөгдөлд янз бүрийн хувиргалтыг ашиглах явдал юм.
Одоо байгаа өгөгдлөөс шинэ өгөгдлийг нэгтгэх техникийг "Өгөгдлийг нэмэгдүүлэх" гэж нэрлэдэг. Мэдээллийг нэмэгдүүлэхийн тулд өгөгдлийн хэмжээ болон сургалтын мэдээллийн олон янз байдал гэсэн хоёр шаардлагыг биелүүлэхэд ашиглаж болно. машин суралцах эсвэл гүнзгий суралцах загварууд.
Энэ нийтлэлд бид өгөгдлийг нэмэгдүүлэх, түүний төрлүүд, яагаад зайлшгүй шаардлагатай вэ гэх мэт олон зүйлийг нарийвчлан авч үзэх болно.
Тэгэхээр Data Augmentation гэж юу вэ?
Өгөгдлийг нэмэгдүүлэх нь одоо байгаа өгөгдлөөс шинэ, төлөөлөх өгөгдлийг боловсруулах үйл явц юм. Та одоо байгаа өгөгдлийн өөрчлөгдсөн хувилбаруудыг оруулах эсвэл шинэ өгөгдлийг нэгтгэх замаар үүнийг хийж чадна.
Энэ аргаар үйлдвэрлэсэн өгөгдлийн багц нь таны машин сурах чадварыг сайжруулах эсвэл гүнзгий суралцах загварууд хэт ачаалах эрсдэлийг багасгах замаар. Энэ нь нэмэлт мэдээлэл бүхий өгөгдлийн багцыг өөрчлөх буюу "өсгөх" үйл явц юм.
Энэхүү нэмэлт оролт нь зургаас текст хүртэл байж болох бөгөөд энэ нь машин сургалтын системийн гүйцэтгэлийг нэмэгдүүлдэг.
Бид нохойны үүлдрийг ангилах загвар бүтээхийг хүсч байна гэж бодъё, бидэнд пугуудаас бусад бүх сортуудын олон тооны гэрэл зураг байгаа гэж бодъё. Үүний үр дүнд загвар өмсөгч пугуудыг ангилахад хүндрэлтэй байх болно.
Бид цуглуулгадаа нэмэлт (бодит эсвэл худал) пугны зургуудыг нэмж болно, эсвэл бид одоогийн пуг зургуудаа хоёр дахин нэмэгдүүлж болно (жишээ нь, тэдгээрийг зохиомлоор өвөрмөц болгохын тулд хуулбарлаж, гуйвуулж).
Өгөгдлийг нэмэгдүүлэх нь өнөө үед ямар хэрэгцээтэй вэ?
Өргөдөл машин суралцах ялангуяа гүнзгий суралцах чиглэлээр эрчимтэй хөгжиж, төрөлжиж байна. Хиймэл оюун ухааны салбарт тулгарч буй сорилтуудыг өгөгдлийг нэмэгдүүлэх арга техникээр дамжуулан даван туулж чадна.
Мэдээллийг нэмэгдүүлэх нь сургалтын өгөгдлийн багцад шинэ, олон янзын жишээ нэмэх замаар машин сургалтын загваруудын гүйцэтгэл, үр дүнг сайжруулах боломжтой.
Өгөгдлийн багц том бөгөөд хангалттай байх үед машин сургалтын загвар илүү сайн ажиллаж, илүү нарийвчлалтай байдаг. Машин сургалтын загваруудын хувьд өгөгдөл цуглуулах, шошголох нь цаг хугацаа их шаарддаг бөгөөд үнэтэй байдаг.
Компаниуд өгөгдлийн багцыг өөрчлөх, өгөгдлийг нэмэгдүүлэх стратегийг ашиглах замаар үйл ажиллагааны зардлаа бууруулж чадна.
Өгөгдлийг цэвэрлэх нь өгөгдлийн загварыг боловсруулах үе шатуудын нэг бөгөөд өндөр нарийвчлалтай загварт зайлшгүй шаардлагатай. Гэсэн хэдий ч, өгөгдөл цэвэрлэх нь дүрслэх чадварыг бууруулдаг бол загвар нь бодит ертөнцөөс зохих оролтыг урьдчилан таамаглах боломжгүй болно.
Бодит ертөнцөд загварт тулгарч болох хэлбэлзлийг бий болгодог өгөгдлийг нэмэгдүүлэх аргыг ашигласнаар машин сургалтын загваруудыг бэхжүүлж болно.
Өгөгдлийг нэмэгдүүлэх төрлүүд
Бодит өгөгдлийг нэмэгдүүлэх
Өгөгдлийн багцад жинхэнэ нэмэлт өгөгдөл нэмэх үед бодит өгөгдөл нэмэгдэнэ. Энэ нь нэмэлт шинж чанар бүхий текст файлаас (шошгологдсон зургийн хувьд) анхны объекттой харьцуулах боломжтой бусад объектын зураг, тэр ч байтугай бодит зүйлийн бичлэг хүртэл байж болно.
Жишээлбэл, зургийн файлд хэд хэдэн функц нэмж оруулснаар машин сургалтын загвар нь тухайн зүйлийг илүү хялбар илрүүлж чадна.
Зураг бүрийн талаар илүү их мета өгөгдлийг (жишээлбэл, нэр, тайлбар) оруулж болох бөгөөд ингэснээр манай хиймэл оюун ухаант загвар нь эдгээр зураг дээр сургалт эхлэхээс өмнө зураг бүр юуг төлөөлж байгааг илүү сайн мэддэг болно.
Шинэхэн зургуудыг "муур" эсвэл "нохой" гэх мэт урьдчилан тодорхойлсон ангиллын аль нэгээр нь ангилах цаг ирэхэд загвар нь зураг дээр байгаа зүйлсийг илүү сайн илрүүлж, үр дүнд нь илүү сайн ажиллах боломжтой болно.
Синтетик өгөгдөл Өсөх
Илүү бодит өгөгдөл нэмэхээс гадна та хувь нэмрээ оруулах боломжтой синтетик өгөгдөл эсвэл жинхэнэ мэт санагдах хиймэл өгөгдөл.
Энэ нь мэдрэлийн хэв маягийг шилжүүлэх гэх мэт хэцүү ажлуудад тустай боловч GAN (Generative Adversarial Networks), CNN (Convolutional Neural Networks) эсвэл бусад гүн мэдрэлийн сүлжээний архитектур ашиглаж байгаа эсэхээс үл хамааран ямар ч загварт тохиромжтой.
Жишээлбэл, хэрэв бид хэд хэдэн зураг авах шаардлагагүйгээр багийг зөв ангилахыг хүсвэл нохойн зургийн цуглуулгад хуурамч бахрын зургийг нэмж болно.
Өгөгдлийг нэмэгдүүлэхийн энэ хэлбэр нь өгөгдөл цуглуулах нь хэцүү, үнэтэй эсвэл цаг хугацаа их шаарддаг үед загварын нарийвчлалыг нэмэгдүүлэхэд онцгой үр дүнтэй байдаг. Ийм нөхцөлд бид мэдээллийн багцыг зохиомлоор өргөжүүлж байна.
Манай анхны 1000 нохойны үүлдрийн гэрэл зургийн бүлэгт зөвхөн 5 пугийн зураг орсон гэж бодъё. Жинхэнэ нохойноос авсан жинхэнэ пуг зургуудыг нэмж оруулахын оронд одоо байгаа зургуудын аль нэгийг нь хувилж, бага зэрэг мушгин гуйвуулах замаар хуурамч зургийг бүтээцгээе.
Өгөгдлийг нэмэгдүүлэх арга техник
Өгөгдлийг нэмэгдүүлэх арга нь одоо байгаа өгөгдөлд бага зэрэг өөрчлөлт оруулахыг шаарддаг. Энэ нь мэдэгдлийг дахин хэлэхтэй адил юм. Өгөгдлийн өсөлтийг бид гурван төрөлд хувааж болно:
текст
- Үг солих: Өгөгдлийг нэмэгдүүлэх арга нь одоогийн нэр томъёог ижил утгатай үгээр солих явдал юм. Жишээлбэл, "Энэ кино тэнэг" гэж "Энэ кино тэнэг" гэж хэлж болно.
- Өгүүлбэр/Үг холих: Энэ стратеги нь ерөнхий уялдааг хадгалахын зэрэгцээ хэллэг эсвэл үгсийн дарааллыг солих явдал юм.
- Синтакс-Модны заль мэх: Та ижил нэр томъёог ашиглахын зэрэгцээ одоо байгаа өгүүлбэрийг дүрмийн хувьд үнэн зөв байхаар өөрчилдөг.
- Санамсаргүй устгах: Хэдийгээр энэ стратеги нь муухай бичдэг боловч үр дүнтэй байдаг. Үүний үр дүнд "Би энэ бичлэгийг зураастай тул худалдаж авахгүй" гэсэн мөр "Би үүнийг зураастай тул худалдаж авахгүй" болно. Энэ хэллэг нь тодорхой бус боловч үнэмшилтэй нэмэлт хэвээр байна.
- Буцах орчуулга: Энэ арга нь үр дүнтэй бөгөөд тааламжтай байдаг. Өөрийн хэлээр бичсэн мэдэгдлийг аваад өөр хэл рүү орчуулаад дараа нь эх хэл рүүгээ дахин орчуулаарай.
Зургууд
- Цөмийн шүүлтүүрүүд: Энэ арга нь зургийг хурцалж эсвэл бүдгэрүүлдэг.
- Зургийн хослол: Хэдийгээр хачирхалтай мэт санагдаж болох ч та зургийг хольж болно.
- Санамсаргүй байдлаар устгах: Одоогийн зургийн өчүүхэн хэсгийг устгана уу.
- Геометрийн хувиргалт: Энэ арга нь бусад зүйлсээс гадна зургийг дур мэдэн эргүүлэх, эргүүлэх, тайрах, орчуулах зэрэг орно.
- Зургийг эргүүлэх: Та зургийг хэвтээгээс босоо чиглэлд эргүүлэх боломжтой.
- Өнгөний орон зайн хувиргалт: Та RGB өнгөний сувгийг өөрчлөх эсвэл одоогийн ямар ч өнгийг сайжруулах боломжтой.
- Re-Scaling гэдэг нь харааны масштабыг тохируулах үйл явц юм. Танд өргөтгөх эсвэл багасгах сонголт бий. Дотогшоо томруулахад зураг анхны хэмжээнээс багасна. Хэрэв та гаднаас нь томруулж үзвэл зураг анхныхаасаа том болно.
аудио
- Дуу чимээ: Энэ арга нь дууны аяыг өөрчлөх явдал юм.
- Хурд өөрчлөх: Аудио файл эсвэл бичлэгийн хурдыг өөрчлөх.
- Илүү их чимээ шуугиан: Та аудио файлд илүү их чимээ шуугиан нэмж болно.
Кейс ашиглах
Эмнэлгийн дүрслэл нь одоогоор өгөгдлийг нэмэгдүүлэхэд түгээмэл хэрэглэгддэг тохиолдол юм. Эмнэлгийн зургийн цуглуулга бага бөгөөд дүрэм журам, нууцлалын асуудлаас болж мэдээлэл хуваалцахад хэцүү байдаг.
Цаашилбал, өгөгдлийн багц нь нийтлэг бус эмгэгийн хувьд илүү хязгаарлагдмал байдаг. Эмнэлгийн дүрслэлийн компаниуд өгөгдлийн багцаа төрөлжүүлэхийн тулд өгөгдлийг нэмэгдүүлэх аргыг ашигладаг.
Тулгамдаж буй асуудал
Өргөтгөх чадвар, олон төрлийн өгөгдлийн багц, хамаарал зэрэг нь өгөгдлийг үр дүнтэй нэмэгдүүлэх арга техникийг хөгжүүлэхийн тулд шийдвэрлэх шаардлагатай асуудлуудын нэг юм.
Өргөтгөсөн өгөгдөл нь өргөтгөх боломжтой байх ёстой бөгөөд ингэснээр олон янзын загварууд үүнийг ашиглах боломжтой болно. Их хэмжээний хамааралтай, үнэ цэнэтэй, сайжруулсан өгөгдлийг үүсгэдэг өгөгдлийг нэмэгдүүлэх системийг бий болгоход хэсэг хугацаа шаардагдах тул та үүнийг ирээдүйн загваруудад ашиглахын тулд хуулбарлах боломжтой эсэхийг шалгахыг хүсэх болно.
Нэг төрлийн бус байдлын хувьд янз бүрийн өгөгдлийн багцууд нь нэмэлт өгөгдлийг боловсруулахдаа анхаарах ёстой онцлог шинж чанартай байдаг. Тохиромжтой сайжруулсан өгөгдлийг боловсруулахын тулд өгөгдлийн багц бүрийн шинж чанарыг ашиглах ёстой.
Өөрөөр хэлбэл, өгөгдлийн нэмэгдэл нь өгөгдлийн багц болон хэрэглээний тохиолдлуудын хооронд ялгаатай байх болно.
Эцэст нь, нэмэгдсэн өгөгдлийн давуу тал нь аливаа аюулаас давж гарахыг баталгаажуулахын тулд нэмэгдүүлсэн өгөгдлийг машин сургалтын загварт ашиглахаас өмнө тохирох хэмжигдэхүүнийг ашиглан үнэлэх хэрэгтэй.
Жишээлбэл, зураг дээр суурилсан нэмэгдүүлсэн өгөгдөлд ихээхэн хэмжээний дэвсгэр чимээ шуугиан эсвэл хамааралгүй зүйл байгаа нь загварын гүйцэтгэлд сөргөөр нөлөөлж болзошгүй.
Дүгнэлт
Эцсийн эцэст, та алдагдлыг урьдчилан таамаглах, санхүүгийн луйврыг тодорхойлох эсвэл илүү сайн барихыг оролдож байна уу зургийн ангилал загварууд, өгөгдлийг нэмэгдүүлэх нь илүү нарийвчлалтай, бат бөх загвар бүтээх чухал арга юм.
Сургалтын дээд зэргийн процедурын тусламжтайгаар энгийн урьдчилсан боловсруулалт, өгөгдлийг нэмэгдүүлэх нь хамгийн сүүлийн үеийн загваруудыг боловсруулахад багт туслах болно.
Бизнесүүд сургалтын өгөгдөл бэлтгэхэд зарцуулдаг цаг хугацааг багасгах, илүү нарийвчлалтай, илүү хурдан машин сургалтын загварыг бий болгохын тулд өгөгдлийг нэмэгдүүлэх аргыг ашиглаж болно..
Өгөгдлийн багц дахь холбогдох өгөгдлийн тоог нэмэгдүүлснээр өгөгдлийг нэмэгдүүлэх нь маш олон өгөгдөлтэй машин сургалтын загваруудад ашиг тусаа өгөх болно.
хариу үлдээх