Преглед садржаја[Сакрити][Прикажи]
Куће података комбинују концепте складишта података и језера података за предузећа.
Ови алати вам омогућавају да изградите исплатива решења за складиштење података комбиновањем могућности управљања језерима података са архитектуром података која се налази у складиштима података.
Поред тога, постоји смањење миграције података и редундантности, мање времена се троши на администрацију, а краће шеме и процедуре управљања подацима заправо постају стварност.
Једна база података има много предности у поређењу са системом за складиштење са неколико решења.
Ове алате и даље користе научници података да побољшају своје разумевање пословне интелигенције и процедура машинског учења.
Овај чланак ће брзо погледати дата лакехоусе, његове могућности и доступне алате.
Увод у Дата Лакехоусе
Нова врста архитектуре података под називом „дата лакехоусе” комбинује језеро података и складиште података за решавање слабости сваког појединачно.
Систем Лакехоусе, као и језера података, користи јефтино складиштење да задржи огромне количине података у оригиналном облику.
Додавање слоја метаподатака на врху продавнице такође обезбеђује структуру података и омогућава алате за управљање подацима сличним онима у складиштима података.
Садржи огромне количине структурираних, полуструктурираних и неструктурираних података добијених из различитих пословних апликација, система и уређаја који се користе у целом предузећу.
Као резултат тога, за разлику од језера података, систем лакехоусе може управљати тим подацима и оптимизовати их за СКЛ перформансе.
Такође има могућност складиштења и обраде велике количине различитих података по јефтинијој цени од складишта података.
Дата Лакехоусе је згодна када треба да извршите приступ подацима или аналитику на основу било којих података, али нисте сигурни у податке или препоручену аналитику.
Архитектура кућице на језеру ће функционисати прилично добро ако перформансе нису примарна брига.
То не значи да треба да заснивате целу своју структуру на кућици на језеру.
Више информација о томе како да изаберете језеро података, језеро, складиште података или специјализовану аналитичку базу података за сваки случај употребе можете пронаћи ovde.
Карактеристике Дата Лакехоусе-а
- Истовремено читање и писање података
- Прилагодљивост и скалабилност
- Помоћ у шеми са алатима за управљање подацима
- Истовремено читање и писање података
- Складиштење које је приступачно
- Подржани су сви типови података и формати датотека.
- Приступ науци о подацима и алатима за машинско учење који је оптимизован
- Ваши тимови за податке ће имати користи од приступа само једном систему за бржи и прецизнији пренос радних оптерећења кроз њега.
- Могућности у реалном времену за иницијативе у науци о подацима, машинском учењу и аналитици
5 најбољих алата Дата Лакехоусе
Датабрицкс
Датабрицкс, који је основала особа која је прва развила Апацхе Спарк и направила га Опен Соурце, пружа управљану услугу Апацхе Спарк и позициониран је као платформа за језера података.
Компоненте дата лаке, делта лаке и делта енгине архитектуре Датабрицкс лакехоусе омогућавају пословну интелигенцију, науку о подацима и случајеве коришћења машинског учења.
Језеро података је јавно складиште у облаку.
Са подршком за управљање метаподацима, групну и стриминг обраду података за вишеструко структуриране скупове података, откривање података, контролу безбедног приступа и СКЛ аналитику.
Датабрицкс нуди већину функција складиштења података које се могу очекивати на платформи дата Лакехоусе.
Датабрицкс је недавно представио свој Ауто Лоадер, који аутоматизује ЕТЛ и унос података и користи узорковање података да би се закључила шема за различите типове података, како би се испоручиле основне компоненте стратегије складиштења језера података.
Алтернативно, корисници могу да граде ЕТЛ цевоводе између свог јавног језера података у облаку и Делта Лаке користећи Делта Ливе Таблес.
На папиру изгледа да Датабрицкс има све предности, али постављање решења и креирање његових цевовода података захтева много људског рада од вештих програмера.
У скали, одговор такође постаје сложенији. Компликованије је него што се чини.
Ахана
Језеро података је јединствена, централна локација на којој можете да складиштите било коју врсту података коју одаберете у обиму, укључујући неструктуриране и структуриране податке. АВС С3, Мицрософт Азуре и Гоогле Цлоуд Стораге су три уобичајена језера података.
Језера података су невероватно омиљена јер су веома приступачна и једноставна за коришћење; у суштини можете да складиштите онолико било које врсте података колико желите за врло мало новца.
Али језеро података не нуди уграђене алате попут аналитике, упита итд.
Потребан вам је механизам за упите и каталог података на врху језера података (где долази Ахана Цлоуд) да бисте упитали своје податке и користили их.
Уз најбоље од складишта података и језера података, развио се нови дизајн кућишта података.
Ово указује на то да је транспарентан, прилагодљив, има добру цену/перформансе, размере попут језера података подржава трансакције и да има висок ниво безбедности упоредив са складиштем података.
Ваш СКЛ механизам за упите високих перформанси је мозак иза Дата Лакехоусе-а. Због тога можете да извршите аналитику високих перформанси на подацима језера података.
Ахана Цлоуд за Престо је СааС за Престо на АВС-у, што чини невероватно једноставним почетак коришћења Престо-а у облаку.
За ваше језеро података засновано на С3, Ахана већ има уграђени каталог података и кеширање. Ахана вам даје Престо-ове функције без потребе да се носите са главним трошковима јер то ради интерно.
АВС Лаке Форматион, Апацхе Худи и Делта Лаке су само неки од менаџера трансакција који су део стека и интегришу се са њим.
Дремио
Организације настоје да брзо, једноставно и ефикасно процене огромне количине података који се брзо расту.
Дремио верује да је отворени простор језера података који комбинује предности језера података и складишта података на отвореној основи најбољи приступ да се ово постигне.
Дремио Лакехоусе платформа пружа искуство које ради за све, са једноставним корисничким интерфејсом који омогућава корисницима да заврше анализе у делићу времена.
Дремио Цлоуд, потпуно управљана платформа лакехоусе података и лансирање две нове услуге: Дремио Сонар, механизам за упите у језеру, и Дремио Арцтиц, интелигентни мегастор за Апацхе Ицеберг који пружа јединствено искуство налик Гиту за кућу на језеру.
Сва СКЛ радна оптерећења организације могу се покренути на бескрајној, бескрајно скалабилној Дремио Цлоуд платформи, која такође аутоматизује задатке управљања подацима.
Направљен је за СКЛ, нуди искуство слично Гиту, отворен је код и увек је бесплатан.
Створили су је да буде платформа Лакехоусе коју обожавају тимови за податке.
Користећи табеле отвореног кода и формате датотека као што су Апацхе Ицеберг и Апацхе Паркует, ваши подаци су постојани у вашем сопственом складишту података језера када користите Дремио Цлоуд.
Будуће иновације се могу лако усвојити, а одговарајући мотор се може изабрати на основу вашег оптерећења.
Пахуљица
Сновфлаке је платформа за податке и аналитику у облаку која може да задовољи потребе језера података и складишта.
Почео је као систем складишта података изграђен на инфраструктури облака.
Платформа се састоји од централизованог складишта за складиштење које се налази на врху јавног складиштења у облаку са АВС-а, Мицрософт Азуре-а или Гоогле Цлоуд Платформ-а (ГЦП).
Следи слој за рачунање са више кластера, где корисници могу покренути виртуелно складиште података и спроводити СКЛ упите у односу на своје складиште података.
Архитектура омогућава раздвајање ресурса за складиштење и рачунарство, омогућавајући организацијама да скалирају ова два независно по потреби.
Коначно, Сновфлаке пружа слој услуге са категоризацијом метаподатака, управљањем ресурсима, управљањем подацима, трансакцијама и другим функцијама.
Конектори БИ алата, управљање метаподацима, контроле приступа и СКЛ упити су само неке од функционалности складишта података које платформа истиче у понуди.
Сновфлаке је, међутим, ограничен на један релациони механизам упита заснован на СКЛ-у.
Као резултат тога, постаје једноставније за администрирање, али мање прилагодљиво, а визија језера података са више модела није реализована.
Поред тога, пре него што се подаци из складишта у облаку могу претраживати или анализирати, Сновфлаке захтева од предузећа да их учитају у централизовани слој за складиштење.
Процедура ручног цевовода података захтева претходни ЕТЛ, обезбеђивање и форматирање података пре него што се може испитати. Повећање ових ручних процеса чини их фрустрирајућим.
Друга опција која се чини да се добро уклапа на папиру, али у ствари одступа од принципа језера података једноставног уноса података је Сновфлаке-ова кућа са подацима.
пророчанство
Модерна, отворена архитектура позната као „кућа на језеру података“ омогућава складиштење, разумевање и анализу свих ваших података.
Ширина и флексибилност најомиљенијих решења језера података отвореног кода комбиновани су са снагом и дубином складишта података.
Најновији оквири вештачке интелигенције и унапред изграђене АИ услуге могу да се користе са базом података на Орацле Цлоуд Инфраструцтуре (ОЦИ).
Изводљиво је радити са додатним типовима података док користите језеро података отвореног кода. Али време и труд који су потребни да се њиме управљају могли би бити стални недостатак.
ОЦИ нуди потпуно управљане услуге отвореног кода лакехоусе по нижим ценама и са мање управљања, омогућавајући вам да предвидите ниже оперативне трошкове, бољу скалабилност и сигурност, као и капацитет да консолидујете све своје постојеће податке на једној локацији.
Кућа са подацима ће повећати вредност складишта података и маркета, који су од суштинског значаја за успешна предузећа.
Подаци се могу преузети користећи лакехоусе са неколико локација са само једним СКЛ упитом.
Постојећи програми и алати добијају транспарентан приступ свим подацима без потребе за прилагођавањем или стицањем нових вештина.
Zakljucak
Увођење решења дата лакехоусе је одраз већег тренда у великим подацима, а то је интеграција аналитике и складиштења података у обједињене платформе података како би се максимизирала пословна вредност из података уз смањење времена, трошкова и сложености екстракције вредности.
Платформе, укључујући Датабрицкс, Сновфлаке, Ахана, Дремио и Орацле, све су повезане са идејом „куће са подацима“, али свака од њих има јединствен скуп функција и тенденцију да функционишу више као складиште података него право језеро података у целини.
Када се решење рекламира као „кућа са језерима података“, предузећа би требало да воде рачуна шта то заправо значи.
Предузећа треба да гледају даље од маркетиншког жаргона попут „дата лакехоусе“ и уместо тога да погледају карактеристике сваке платформе како би одабрала најбољу платформу података која ће се проширити са њиховим пословањем у будућности.
Ostavite komentar