Monday, November 28, 2016

Google Translate gai da entrenamendurik gabe itzultzeko

 Iturria: Google Research blog

Azken hamar urteotan, Google Translate hizkuntza gutxi batzuen arteko itzulpenak egitetik 103 hizkuntzaren artekoak egitera iritsi da, eta egunero 140 miliar hitz baino gehiago itzultzen ditu. Aurrerapen hori egin ahal izateko, hainbat sistema garatu eta mantendu behar izan dituzte, hizkuntza-bikote guztien itzulpenak egiteko. Bide horretan, sistemaren oinarrian zegoen teknologia aldatu behar izan dute.

Joan zen irailean iragarri zuten Google Translate aldatzen ari zela Google Neural Machine Translation (GNMT) izeneko sistema batera. Sistema horrek milioika adibidetatik ikasten du, eta hobekuntza nabarmenak lortzen ditu itzulpenetan. Hala ere, sistema berrira aldatzea erronka handia da 103 hizkuntzarekin lan egiteko.

Arkitektura berriak ez du
eskatzen oinarrizko GNMT sisteman  aldaketak egiterik  baina sorburu-hizkuntzako esaldiaren hasieran token edo ikur-marka bat erabiltzen du, esaldia zer hizkuntzatara itzuli behar den zehazteko. Itzulpenaren kalitatea hobetzeaz gainera, sistema berria gai da, inoiz esplizituki  ikusi gabeko hizkuntza-bikoteetan itzulpenak egiteko, entrenamendurik gabe. Horri “Zero-Shot Translation” deitzen diote.

Hara nola lan egiten duen: demagun sistema entrenatzen dela japonieraren eta ingelesaren arteko eta koreeraren eta ingelesaren arteko itzulpen-adibideekin. Sistema eleaniztunak, GNMT sistemaren tamaina bera duenak, bere parametroak partekatzen ditu lau hizkuntza-bikote horien arteko itzulpenak egiteko. Partekatze horrek ahalbidetzen dio sistemari itzulpen-jakituria transferitzea hizkuntza-bikote batetik besteetara.
 

Hurrengo urratsa litzateke sistemak inoiz ikusi ez duen  hizkuntza-bikote baten itzulpenak egitea, adibidez koreeraren eta japonieraren arteko itzulpenak egitea, hizkuntza horien arteko itzulpenak sistemari inoiz erakutsi gabe. Bada, hori ere egiten du nahiko ondo.

Sistemak, esalditik esaldirako itzulpenak memorizatu ez ezik, semantikaz ere zerbait kodetzen du. Horrek sare neuronalean interlingua bat dagoela iradokitzen du.

Thursday, November 24, 2016

Errodamenduak gauzen Interneteko gauzak hasi dira izaten

Iturria: http://www.skf.com


2015eko Hannover-eko ferian SKF errodamendu-fabrikatzaileak trenetan eta sorgailu eolikoetan erabiltzen diren errodamenduen osasuna kudeatzeko teknologia berri bat erakutsi zuen. 

Teknologia horrek errodamenduetan sentsore adimendun batzuk erabiltzen ditu, behar duten energia sortzen dutenak eta seinaleak kablerik gabe igortzen dituztenak, Internet bidez errodamenduaren egoerari buruzko informazioa bidaltzeko. Teknologia hori egitasmo kritikoetako sorgailu eolikoetan eta trenetan probatu dituzte.

Jasotzen diren datuak algoritmo batzuek tratatzen dituzte mantentze-lana unean-unean egokitzeko. Errodamenduen egoera kontrolatzeko erabili izan den prozedurak matxurak atzematen ditu. SKF Insight izeneko teknologia berri honek, aldiz, matxura eragiten duten baldintza anormalak atzematen ditu, matxura saihestu ahal izateko.



Errodamenduak hodeira konektaturik daude eta bezeroek diagnostiko- eta laguntza-zerbitzuetarako sarbidea dute, errodamenduen osasuna kudeatzeko. SKF Insightek parametro dinamikoak jagoten ditu, hala nola abiadura,  bibrazioak, tenperatura, lubrifikazioa eta karga, eta erabiltzaileari matxura sor dezaketen baldintza anormalen berri ematen dio. Zenbait eragiketa automatiko ere abiaraz ditzake. Esate baterako, lubrifikatzailea automatikoki gehitzea edo makinaren erregimena aldatzea.
 

Sistemak eskain diezazkieke txostenak lantegia mantentzen duen taldeari, makinaren fabrikatzaileari edo Internet bidez informazio hori atzitzeko baimena duen edonori. Datuak tresna mugikorren bidez eskura daitezke.

Friday, November 11, 2016

Gauzen Internet fabrikazioan

Iturria: internetofbusiness

Fabrikazioa aro berri batean sartzen ari da

Gauzen Internet aldaketa kualitatiboak eragitera dator sektore guztietan, eta ekonomia aldetik sekulako garrantzia izatera. Fabrikazioan zehazki guztiz eraldatzailea izango da.

Gaur egungo bezeroek espero dute erosten dituzten produktuak eta zerbitzuak beren beharretarako egokituak eta denboran zehar hobetu daitezkeenak izatea. Gauzen Internetek, hain zuzen, bezeroen beharretara egokitzeko eta denboran zehar ikasten duten produktu adimendunak eskaintzeko aukera ematen du. Sentsoreek ematen dituzten datuak analitikarekin eta plataforma ahaltsuekin konbinatuz, errealitatearen ikuspegi sakonagoa lortzen da, eta hobetzeko eta efizientzia areagotzeko bideak ikusten dira. Gaur egun datuak analizatzeko  dauden metodoak gai dira datu kopuru izugarri handiak prozesatzeko denbora errealean edo oso denbora laburrean behinik behin, eta emaitzak erabil daitezke erabakiak hartzeko. Esate baterako, matxurak gertatu baino lehen behar diren neurriak hartzeko.

Fabrikazio adimendunerantz, automatizazioaz haratago


Abantaila horiei etekina ateratzeko, hornitzaileek informazio guztia jaso dezaketen plataforma adimendunak garatu dituzte, teknikari aproposei erabakiak hartzea ahalbidetzen dietenak. Sistemak alerta bat bidal diezaioke makinatik hurbilena dagoen ingeniariari, aurki ditzakeen arazoen aurreikuspenarekin, makinaren kokapen zehatzaren berri emanez eta arazoa konpontzeko beharko dituen ordezko piezak zein izango diren esanez. Plataforma horien bitartez, enpresek softwarearen eguneratzeak eta prozesuak optimizatzeko gehigarriak ere bidal ditzakete automatikoki. 

Orain arte helburu nagusia fabrika automatizatzea zen; batez ere eskuz egiten ziren lanak automatismoen bidez egitea. Gauzen Internetek askoz urrunago darama hori, softwarean eta datuen analitikan egiten diren aurrerapenak baliatuz, enpresek prozesuak optimizatzeko erabakiak lasterrago eta zehazkiago har ditzakete, eta onura horiek beren bezeroek ere jasotzen dituzte. Hau da, gauzen Interneti esker, fabrikazio adimenduneranzko bidea argiago ikusten da. Fabrikazio-prozesuak antolatzeko beste modu bat dator, hornitzaileak, logistika, produktuen biziziklo osoa konektatu eta integratuko dituena. 

Sistemen sistema bat bihurtzen da fabrika, une desberdinetan zenbait etapatan bildutako datuek osatzen dutena. Datu-bilketa horren helburua enpresaren estrategia nagusiak gauzatzea da. Bi teknologia elkartzen dira hor: teknologia operazionala eta informazioaren teknologia. Teknologia operazionalaren osagaiak dira hardwarea eta softwarea, prozesu fisikoetan aldaketak atzemateko edo eragiteko, zuzenean monitorizatuz edo gailu fisikoak kontrolatuz. Informazioaren teknologia, berriz, datuen eta informazioaren tratamendu automatikoa da. Bi arlo horiek bakoitza bere aldetik garatu izan dira, teknologia operazionala denbora errealean edo ia errealean prozesua kontrolatuz makinatik hurbil, eta informazioaren teknologia ondoren, datu multzoak zentral batean prozesatuz. Gauzen Internetek bi arloak batzeko aukera eskaintzen du. Horrela bi arloek irabazten dute; informazioaren teknologiak informazio zehatz gehiago lortzen duelako, enpresaren hainbat sailetan partekatzeko, hala nola produktuaren diseinuan, bezeroekiko harremanetan edo finanziazioaren eta kontratuen kontrolean, eta teknologia operazionalak ere irabazten du, diagnostikorako eta prebentziorako erabiltzen den datuen analitikatik informazio erabilgarria doakiolako. 

Gauzen Internetek zenbait sektoretan izango duen eragina

1. Ekipamenduen fabrikazioan


Kamioiak, trenak, igogailuak edo makinak fabrikatzeko prozesuak antzekoak izaten dira: urratsez urrats atalak gehitzen zaizkie. Muntaketa-lerroa izaten da fabrikazio mota horren instalazio tipikoa. Lerro horietan gauzen Internetek eragin handia izan dezake, baliabideen erabileraren eta langileen produktibitatea optimizatuz. Lerroaren osagai bakoitzaren monitorizazio- -sentsoreak erabiliz, lerroen erabateko funtzionaltasuna berma daiteke, eta aurreikus daitezke mantentze-lanek eta eragiketetan izango diren aldaketek ekarriko dituzten beharrak. Errealitate birtualeko betaurrekoek, lan-prozesua kudeatzeko softwarearen laguntzarekin, produkzio-lerroaren eta langilearen arteko interakzioa gida dezakete.




Gainera, soinean eramateko alarma-sistemek, bideo-analitikarekin eta adimen artifizialarekin, berma dezakete segurtasuna. 

Ekipamendua fabrikatzeko lerroetan gero eta gehiago erabiliko dira robotak, gizakien partez edo gizakiei laguntzeko. Robotak nekaezinak dira eta aspertu gabe egin ditzakete lan errepikakorrak. Gizakiak adimena, sormena eta malgutasuna jarriko ditu. Bien elkarlana izango da emaitza. Makinek sorturiko datuen eta enpresako informatika-sistemaren datuen konbinazioak enpresaren inoiz baino ikuspegi osoagoa eman dezake, hasi produkzio-lantegitik, jarraitu biltegitik eta produktuaren banaketaraino. Eragiketak ebaluatzeko analisirako funtsezkoa izango da datuen analitika. Oso garrantzitsua izango da hor analitika prediktiboa. Langileek hainbat motatako tresna eramangarriak edo soinean eramatekoak izango dituzte datuak ikusteko.

2. Materialen ekoizpenean


Materialen ekoizpena lehengai bat fabrikazio-prozesu batean erabiltzeko tarteko produktu bat edo salmentarako bukatutako  produktu bat lortzean datza. Horrela, plastikoak petrolio gordinetik abiatuta lortzen dira, ehunak kotoitik edo artiletik eta botikak beste produktu kimiko batzuetatik. Materialen ekoizpena askotan arriskutsua izaten da, dela materia arriskutsuak erabiltzen direlako, dela prozesuak direlako arriskutsuak. Gauzen Internetek, automatizazioaren eta urrundikako monitorizazioaren bidez, saihestu ditzake arriskuok. Esate baterako, gas arriskutsuak detektatzen dituen sentsore bat eraman dezake soinean petrolio-findegi bateko langileak, alarma pizteko, isurketa bat gertatuz gero, eta, gainera, langilea zer lekutan dagoen abisa dezake beste sentsore batek, sorosleak laguntzera joan daitezen.  

Kasko adimendunak sentsoreak dauzka eta eskumuturreko erlojuarekin lan egiten du, gas toxikoak dinamikoki detektatzeko
Beste alde batetik, materialak eta produktu kimikoak proportzio zehatzetan nahastu behar dira, zeren gaizki nahasteak ondorio txarrak izan ditzake. Prozesua zaintzeko eta datuak eskuratzeko sistemak enpresaren informatika-sisteman integra daitezke. Gainera sistema horiek konekta daitezke beste sistema batzuekin, adibidez, ingurumenean egiten den inpaktua neurtzekoetan, kalteak eragin baino lehen prozesua gelditzeko edo moteltzeko.

3. Doitasunezko fabrikazioan
Doitasunezko fabrikazioan elementu batzuk serien fabrikatzen dira eta beste batzuk loteka. Ekipamenduen fabrikazioan baino muntaketa-lan gutxiago izaten da. Industria horretako lanak zero errore egitea eta etengabe ikerketan eta garapenean jardutea eskatzen du.

Makina birprogramarri adimendunak eta robotak erabiliz, gauzen Internetek lagundu diezaieke fabrikatzaileei behar den doitasun mailan lan egiten, aldi berean etengabe diseinuak eta muntaketa-metodoak behar bezain bizkor aldatzeko gai izanez. Ordenagailuz lagundutako sistemek (CAM) integratuko dituzte, muntaketa-makinak ez ezik, baita ikerketa- eta garapen-sistemak ere, ekoizpena gelditu gabe diseinuak aldatu ahal izateko. Egiaztapenak ekipamendu automatikoen bidez egingo dira, prozesuaren puntu erabakigarrietan. Horrek guztiak, bistan da, oso datu-prozesamendu lasterra eskatzen du.

Tuesday, October 18, 2016

Adimen artifiziala fabrikazio-prozesuetan sartzen ari da

Adimen artifiziala fabrikazioan

Fabrikazioaren automatizazioan aurreratuenak diren enpresak eta adimen artifizialaren arlokoak elkarlanean ari dira adimen artifiziala fabrikazioan sartzeko. Informatika arloko NVIDIA eta robot industrialetan espezializaturiko FANUC horretan ari dira, hain zuzen. 

FANUCek FIELD (FANUC Intelligent Edge Link and Drive) sistema garatu du. FIELD sistema informatiko bat da, hardwarez eta softwarez osatua, lantegiko sareari hainbat tresna informatiko modu seguruan gehitzea ahalbidetzen duena. Softwareak lizentzia duten produktuak dauzka, alde batetik, Cisco eta Preferred Networkenak, eta kode irekikoak bestetik. Behin FIELD softwarea kargatu eta konfiguratuz gero, automatizazio-ekipamendu osotik, hau da, CNC makinetatik eta robotetatik, datozen datu guztiak eskuragarri dituzte aplikazioak garatzen dituztenek, API interfaze baten bitartez.

FIELD sistema 
plataforma bat da, adimen artifizial aurreratuaren bidez, fabrikako ekoizpena eta efizientzia hobetzeko pentsatua. Robotek beren ingurunea ulertuko dute eta pertsonekin elkarlanean jardungo dute.

Sistema horrek dakarren aurrerapausorik handiena prozesamendu grafikoko unitateen (GPU) bidez azeleraturiko ikaskuntza sakona da. Badakigu ordenagailu batean grafiko onak nahi ditugunean txartel grafiko on bat behar izaten dugula. Grafikoak ez dira prozesatzen prozesamendu-unitate zentralean (CPU) GPUan baizik. CPUak kalkuluetarako oro har balio du baina GPUa datu kopuru handiekin lan egiteko diseinatua da. CPUak serien prozesatzen ditu datuak eta GPUak, aldiz, paraleloan.

Zer da, ordea, ikaskuntza sakona? E
z da erraza programa bat idaztea, zenbait arazo ordenagailu bidez soluzionatzeko. Adibidez, ez da posible eskuz idatzitako karaktereak ezagutzeko programa bat idaztea, karaktere berbera hainbat eta hainbat formatan agertuko delako eta ezinezkoa delako forma horiek guztiak ezagutzeko erregelak zehaztea. Beste hainbat kasutan ere antzeko arazoa izaten da, hala nola kamera batek ematen dizkigun irudietan objektuak ezagutzean edo hizketa testu bihurtzean. Horrelako kasuetan, programa bat idatzi ordez, algoritmo bat garatzen da, ordenagailuak erabil dezakeena, soluzio probableena bilatzeko, ehunka edo milaka adibide erantzun zuzenekin konparatuz. Prozedura horiei ikaskuntza automatikoa esaten zaie. Azken finean adibideen bidez ordenagailuari irakastean datza ikaskuntza automatikoa. Ikaskuntza sakona, berriz, ikaskuntza automatikoa gauzatzeko paradigma bat da. 

Ikaskuntza automatikoak duen zailtasun handienetako bat ezaugarrien erauzketa deritzona lortzea da. Ikaskuntza automatikoan neurturiko datu-multzo batez hasten da ezaugarrien erauzketa, eta horietatik balio batzuk (ezaugarriak) ondorioztatzen dira, informazioa ematen dutenak erredundantziarik gabe. Algoritmo bati sartzen zaizkion datuen kopurua oso handia denean prozesatzeko, eta susmatzen denean erredundanteak direla, ezaugarri-bektore esaten zaion ezaugarri multzo murritzago bat zehazten da.  FIELD sistemak ikaskuntza sakona erabiltzen du, hain zuzen, robotak entrenatzeko.

Adimen artifizialean lortzen ari diren aurrerapenek ahalbidetuko dute robotek ikustea, ikastea eta beren gaitasuna handitzea.

Makina erreminten bilakaera adimendun makinarantz


Bilakaera horren abiapuntua zenbakizko kontrola izan zen, 1950eko hamarkadan. Hasieran programagailu berezi batzuen bidez programatzen zituzten makinak. Hurrengo hamarkadan zenbakizko kontrolei programak zuzenean transmititzeko modua lortu zuten. 1970eko hamarkadan ordenagailu bidezko zenbakizko kontrola (CNC) eta ordenagailuak lagunduriko fabrikazioa (CAM) garatu zituzten. Ondoren integratu egin  zituzten ordenagailuak lagunduriko diseinua (CAD), CAM eta CNC sistemen eta makina-atalen eta erremintaren mugimenduen arteko datu-fluxua. Kontrol digitala izan da makina adimenduneranzko bidea zabaldu duena.

Makina adimendun bihurtu nahia helburu batzuk lortu beharrak bultzatu du: akatsak eda bibrazioak gutxitzeak, matxurak saihesteak, mekanizazio-prozesua optimizatzeak, makina okupatua dagoen denbora eta energiaren kontsumoa murrizteak, besteak beste.

Gaur egungo makina erreminta batzuek badituzte makina adimendunen ezaugarri batzuk. Gai dira mundu fisikoan lan egiteko, mundu digitalean planifikatzeko, analizatzeko, modelizatzeko, memorizatzeko, konbinatzeko eta optimizatzeko eta, informazioa landu ostean, mundu fisikora itzultzeko, erabakiak aplikatzera. Badira makina erremintak ikusmenez hornituak eta neurketa-makinekin konektatuak. Hurrengo helburua da makinak elkarrekin eta langileekin komunikatzea eta lankidetzan jartzea. Azkenik, integratzea lantegiko prozesua, logistika eta giza baliabideen kudeaketa, geruzaz geruza eraikitako sistema batean.



Tuesday, October 4, 2016

Big data marketinean (II). Datuen prozesamendua

Prozesua osatzen duten urratsak

Lehenengo eginkizuna datuak eskuratzea da. Eskuratzearen barruan datuak aurkitzeko egin beharreko guztia sartzen da: bilatzea, atzitzea, lortzea eta mugitzea. Batzuetan beharko da datuak soiltzea, leku edo denbora jakin bati dagozkionak hautatzeko. 

Hurrengo jarduera datuen prestakuntza da eta horren barruan lehenbizi datuak aztertzea, zer ezaugarri dituzten ikusteko, hau da, zer informazio daukaten, zer formatu duten eta haien kalitatea zein den. Hori lagin batzuk erabiliz egin ohi da. Horren ondoren, aurreprozesamendua dator: datuak garbitzea, azpimultzoak egiteko iragaztea, irakurtzeko eta ulertzeko egokiak izan daitezkeen programak aukeratzea, datu gordinak modelizatzea, datu-eredu zehatzagoa lortzeko, edo paketatzea.

Hainbat datu multzo baldin badaude jokoan, urrats horretan bertan integratzen dira datu-iturri edo -jario desberdinak. Gero, prestaturiko datuak analisira bideratzen dira, analisi-teknikak zehazten, datuak modelizatzen eta emaitzak aztertzen dira. Urrats hau ziklikoa izan daiteke, datu gehiago sartuz edo datuak beste era batera paketatuz aldi bakoitzean.


Ondoren, analisiaren emaitzak ebaluatu behar dira, aurkezteko prestatu eta komunikatzeko interpretatu eta laburbildu. Azkenekoa helburuaren araberako erabakiak hartzea da.

Datuak prestatzea

Aplikaziorako behar diren datuak batu bezain laster ez da hasi behar datuak aztertzeko ereduak garatzen. Hori baino lehen ikuskatu egin behar dira datuak. Lehen begirada batek lagundu egiten du datuen ezaugarriak hobeto ezagutzen. Korrelaziorik, joera nagusirik eta joera horretatik saihesten den daturik baden ikusiko da. Grafikoak erabil daitezke datuetako aldagaien arteko mendekotasunak aztertzeko. Aldagaien joera nagusiak grafikoen bidez adieraziz gero, ikus daiteke ea aldagai horien balioak norabide beretsuan mugitzen diren, adibidez prezioak goranzko ala beheranzko joera duten.


Saihesten diren datuak batzuetan neurketa-akatsak izaten dira baina beste batzuetan gertaera arraroren baten ondorio izan daitezke. Parametro estatistikoek, hala nola batezbestekoak, mediak, batez besteko desbideratzeak eta ibiltarteak datuen izaeraren ideia bat ematen dute. Batez ere errakuntzak detektatzeko balio dute. Esate baterako, adinak ezin dira negatiboak izan. estatistikan erabiltzen diren histogramak, gaztak, puntu-diagramak, lerro-diagramak eta abar oso erabilgarriak gertatzen dira.

Datuen aurreprozesamendua

Aurreprozesuaren bi helburu nagusiak dira datuak garbitzea, haien kalitatea bermatzeko, eta datu gordinak eraldatzea, analisirako egokiak izan daitezen. Oso ohikoa da kalitate txarreko datuekin topo egitea, esate baterako bezero berberaren helbide bat baino gehiago edo fitxa bat baino gehiago, bat ez datozenak, datu demografiko garrantzitsuak, hala nola, adina edo sexua, digitu kopuru okerra duten posta-kode edo telefono-zenbakiak. Askotan ez da izaten aukerarik datuak jasotzen direnean akatsik gabeak izan daitezen bermatzea. Beraz, akatsak atzeman eta zuzendu egin behar dira.

Erremedioak izan daitezke balioak falta dituzten erregistroak baztertzea, errepikaturik daudenetatik bat uztea, berdinak baldin badira, eta, bestela,  aztertu egin beharko da zein den zuzena edo zuzenik baden, edo berriena ontzat eman. Asko saihesten diren datuak baztertzea egokia izan daiteke. Adibidez, Euskal Herrian bizi diren bezeroen ezaugarriak aztertzen badira atzerrian bizi denen bat agertuz gero kontuan ez izatea.

Behin datuak garbitu eta gero, formatuz egokitu behar dira analisirako. Fase honetan datuak zer ibiltartetakoak izango diren erabaki behar da, hau da, zer adin-tarte, zer esparru geografiko, zer urte-tarte, zer tartetako erosketa-zenbateko, eta abar. Beste eginkizun bat datuak agregatzea da. Esate baterako, adin asko erabili ordez, 18 eta 25 urte dituzte bezero guztiak multzo berean sartzea edo egun berean egiten diren erosketa guztiak bi multzotan sartzea, goizekoak alde batetik eta arratsaldekoak bestetik. Jakina, agregazio maila loturik dago analisiak lor dezakeen bereizmenarekin. Goizeko erosketa guztiak sail berean sartzen baditugu ez dugu modurik izango jakiteko 9:00etatik 10:00etara baino gehiago ala gutxiago saltzen den 10:00etatik 12:00etara.


Sarritan datu gordinak formatuz aldatu behar izaten dira analisirako.

Datuen analisia

Analisiak datuen eredu bat prestatzea eskatzen du. Hainbat motatako arazoak agertzen dira, analisi-teknika desberdinak eskatzen dituztenak. Analisi-teknika nagusiak
dira: sailkapena, erregresioa, multzokatzea, asoziazioen analisia eta analisi grafikoa. Sailkapenaren helburua sartzen diren datuen kategoria aurreikustea da. Adibidez, bezeroak gizonezkoak ala emakumeak diren bereiztea. Kasu horretan sailkapena bitarra da, bi kategoria soilik dituelako. Ereduak kategoria baten ordez zenbakizko balio bat aurreikusi behar duenean erregresio-arazo bat dago. Adibidez zerbaiten salneurria aurreikusi behar denean. Multzokatzean antzeko elementuak taldetan banatzea da eginkizuna. Adibidez, erabiltzaileak heldu, gazte eta haurren taldetan sartzea. Asoziazioen analisian elementuen arteko erlazioak atzemango dituzten erregelak izatea da helburua. Asoziazioen analisiaren adibide bat erosketa-saskiaren azterketa da, hau da, aztertzea zer produktu erosten diren beste produktu batzuekin batera. Datuak adieraz daitezkeenean grafikoki, nodoekin eta estekekin, egokia izan daiteke analisi grafikoa erabiltzea.

Modelizazioan, lehenik eta behin, goian aipaturiko tekniken arteko bat aukeratu behar da, aztergaiaren arabera, Gero eredua sortzen da prestatu diren datuekin. Eredua balidatzeko, beste datu-lagin batzuei aplikatzen zaie. Ohikoena izaten da prestatu diren datuen parte bat eredua sortzeko erabiltzea,  eta beste parte bat gordetzea eredua ebaluatzeko. Erabiltzen diren analisi-tekniken arabera, ebaluatzeko era desberdina izango da.

Sailkapenerako eta erregresiorako, sartzen den lagin bakoitzari dagokion irteera ebaluatuko da. Emaitza egokia ereduak ematen duenarekin alderatuz egingo da ebaluazioa. Multzokatzean, ikusi beharko da emaitzak zentzurik baduen dugun helbururako. Adibidez, bezeroen multzokatzeak islatzen duen gure bezeria, marketin-kanpainetan erabili ahal izateko.


Behin eredua ebaluatu eta gero kontuan hartzekoak dira: ea datu gehiago erabiliz eredua hobetu ote litekeen edo beste era bateko datuak erabiltzea komeni ote den. Bezeria segmentatzeko garaian, ditugun datuekin ezin baditugu bezeroak beren bizilekuen arabera multzokatu posta kodeak sartzea komeniko d.

Monday, September 26, 2016

Big data marketinean (I). Oinarriak.

 Big data eta marketina

Informatikan, ohiko datu-baseak kudeatzeko softwarea edo datuak prozesatzeko ohiko aplikazioak erabiliz nekez prozesa daitezkeen datu-multzo erraldoiei esaten zaie big data. Gaur egun uholdeka sortzen dira datuak eta urtean-urtean izugarri hazten da kopuru hori. Marketinaren ikuspegitik, bezeroekiko harremanetako datuak kudeatzeko gai izanez gero, datu horiek altxor baliotsua dira, baina hortxe dago koska: nola atzeman, analizatu, gorde, transmititu, kontsultatu, hain datu multzo handiak?

Dagoeneko enpresa askok erabiltzen dituzte datu horiek, beren bezeroekiko komunikazioak pertsonalizatzeko. Datu horien bidez, bezeroen erosketen historiala ezagutzen dute, webgunean zer bilaketa egin dituzten, zer ikusi duten, zer erosi duten, zer duten gustuko eta zer ez, etab.


Teknika horren aplikazioetako bat bezeroari egokienak zaizkion gomendioak ematea da. Erabiltzaileak enpresarekin izan dituen harremanek portaera molde batzuk erakusten dituzte. Horiek baliatuz, aurreikus daiteke beste zer produktu eta zerbitzu interesatuko zaizkion gehiena. 

Beste aplikazio bat sentimenduen analisia da, hau da, jendeak enpresaz eta bere produktu eta zerbitzuez azaltzen dituen aldeko eta kontrako iritzien azterketa. Idatziz azaldutako iritzien azterketan, hizkuntzaren prozesamendua erabiltzen da.

Noiznahi eta non-nahi aldean eramaten ditugun sakelako telefono aurreratuen erabilera guztiz hedaturik dagoenetik, telefono bidezko publizitatea oso garrantzitsua bihurtu da. Interneteko plataformek telefonoetako sentsoreek igortzen dizkieten datuak jasotzen dituzte, hala nola GPSarenak. Informazio hori erabiliz, erabiltzaileari posizio geografikoaren araberako iragarkiak eta eskaintzak iritsarazten zaizkio.


Enpresa guztiek bezeriaren joerak ezagutu nahi dituzte, merkatuaren bilakaera zein den jakiteko. Big datarako produktu batzuek fenomeno horien ereduak egiten dituzte, enpresei bezeria egokienetan arreta jartzea ahalbidetzen dietenak. Mota horretako aplikazioek ez dituzte bezero jakinen datuak aztertzen, bezeroen multzoarenak baizik.

Datu egituratu gabeen arazoak

Organizazioetan datu asko transakzioetatik datoz eta datu-baseetan gordetzen dira. Horiek datu egituratuak dira baina beste datu asko egituratu gabeak izaten dira: emailak, dokumentuak, argazkiak, sare sozialetako mezuak, blogak, Interneteko bilaketak eta bideoak. Era horretako datu gehienak testuzkoak  izaten dira baina hainbat formatutakoak, hau da PDFak, Power Pointeko aurkezpenak, XML formatukoak, etab. Datu hauek ez dira egokiak ohiko datu-baseen bidez kudeatzeko. Ez da erraza haiek antolatzea, daukaten informazioaren arabera. Txarrena da, gainera, asko datozela denbora jakin batean. Datu horiek eskuratzeak, gordetzeak, garbitzeak, bilatzeak eta prozesatzeak kostu handia dute eta denbora asko eskatzen dute.

Datu egituratu gabeak tratatzeko teknologiak

Datu egituratu gabeak tratatzeko teknologia gehienak kode irekiko oinarri batzuen gainean daude eraikiak, batez ere Hadoop deritzonaren gainean. Datu multzo handiak ingurune informatiko banatu batean prozesatzen laguntzeko diseinatuta dago Hadoop.

Hadoopek informazioa banatuz osaturiko sorta handiak maneia ditzake baina gehienetan Twitter edo Facebooken jendeak sortzen dituen datuak denbora errealean prozesatu beharra izaten da. Datu horiek abiadura handian iristen dira. Horiek denbora errealean maneiatzeko, badira kode irekiko beste bi ingurune: Storm eta Spark
. Bai batak eta bai besteak integra ditzake datuak datu-baseak kudeatzeko edozein sistemarekin. Esan dugun bezala, ordea, datu egituratu gabeak ez dira egokiak datu-base erlazionalen eredura moldatzeko. 


Enpresa asko planteamendu hibrido bat ari dira erabiltzen, datu egituratuak datu-baseetan kudeatzen dituzte eta datu egituratu gabeen multzo handiak SQL motakoak ez diren hodeiko datu-baseetan izaten dituzte. SQL motakoak ez diren datu base horiek antola daitezke datuekin egin nahi denaren arabera. Adibidez, datu multzoen arteko loturak bilatzeko analisian erabili nahi badira  soluziorik onena datu-base grafiko bat izan daiteke, adibidez Neo4j.

Dena den, datu multzo handiei probetxua ateratzeko, urratsez urrats joan behar da: eskuratu, biltegiratu, garbitu eta analizatu. Hori egiteko joera bat urrats bakoitza geruza batean egitea da.

Datu egituratuak eta egituratu gabeak konbinatzeak dituen abantailak


Salmentan diharduen enpresa batek sare sozialetako mezuak, lekuan lekuko eguraldiari buruzko datuak, webguneetan egiten diren klikak, dendetan egiten diren trans
akzioak, bezeroei eta produktuei buruzko datuak jasotzen ditu etengabe. Datu horiek aztertuz jakin daiteke zer produktu saltzen diren elkarrekin eta zein den produkturik egokiena dendan jartzeko, saltoki jakin batean izango den eskaria aurreikusteko edo bezeroei eskaintza pertsonalizatuak egiteko.


 Datu mota desberdinen integrazioa

Big datarako aplikazioa eta tratatu beharreko datu motak edozein direlarik ere, datu mota guztiak integratzea da egokiena. Datuak integratzeak esan nahi du hainbat iturritatik datozen datuak batzea eta horietatik informazio esanguratsua lortzea. Datuak integratzeko prozesuak hainbat urrats ditu. Datuak atzituz hasten da; gero datuak modelizatu eta eraldatu egiten dira. 

Big dataren ezaugarriak



Hiru dira ezaugarri nagusiak: kopurua, abiadura eta aniztasuna. Kontuan izan beharreko beste bi ezaugarri fidagarritasuna eta datuen arteko konexioak dira. Kopuruak terabyten mailakoak izaten dira gutxienez. Gogoan izan 1 TB = 103 GB = 106 MB dela.

Kopuru horiek maneiatzeak hainbat eragozpen ditu. Lehena leku asko behar dela. Gero datuak bilatzeko eta mugitzeko behar diren denbora, sarea, banda-zabalera. Erabaki behar da enpresaren sisteman ala hodeian eduki eta prozesatuko diren datuak. Gogoan izan behar da, gainera, analizatzeko sistemek gai izan behar dutela kopuruak handitu ahala balio izaten jarraitzeko, hau da eskalagarriak izan behar dutela. Bestela errendimendua txartzen joango da eta kostua handitzen.

Datuak gero eta lasterrago sortzen dira. Denbora errealean tratatu behar badira, esate baterako erabiltzaile bat webean egiten ari den bilaketen edo erosketen arabera hari publizitatea igortzeko, gaitasuna behar du sistemak lastertasun horri erantzuteko. Biltegiraturik dauden datu sortak prozesatzeak, aldiz, ez ditu horren eskakizun estuak.

Datuen aniztasuna hainbat eratakoa da. Ahotsezko mezu bat, argazki bat, Facebook-eko mezu bat eta PDF dokumentu bat desberdinak dira egituraz. Email bat, berriz, konplexua izan daiteke, testuaz gain fitxategi atxikiak baldin baditu.

Konplexutasun horren guztiaren ondorioz beste arazo bat ere agertzen da: datuen fidagarritasunarena.


Sunday, September 11, 2016

Korronte zuzena vs korronte alternoa atzo eta gaur (II)

Aurreko artikuluan elektrizitate-banaketaren historiaren hasieran korronte zuzena ala korronte alternoa eztabaida nola joan zen azaldu nuen. Oraingo honetan, berriz, gaur egun kontu hori zertan den agertuko dut.

XIX. mendearen bukaeran elektrizitatea erabiltzeko bi sistemen artean izan ziren tirabiren ondoren, korronte alternoa izan da sistema nagusia askogatik, baina oraintxe bertan erabateko nagusitasun hori zalantzan jartzeko arrazoiak daude.
 

Gaur egun tresna eramangarri guztiek korronte zuzena erabiltzen dute, sistema informatiko handiek energia elektriko asko kontsumitzen dute korronte zuzenean, eta, sorkuntzaren aldetik, berriz, energia berriztagarriak baliatzen dituzten eguzki-plakek, haize-errotek, etab. korronte zuzena sortzen dute. Alabaina korronte zuzena korronte alterno bihurtzen da energia garraiatzeko, eta kontsumo puntuetan arteztu egiten da berriro. Hori horrela izanik, galdera da ea zentzurik ez ote duen korronte zuzeneko sareak instalatzea. 

Bihurketa horietan energiaren %5-%20 bero forman galtzen da. Hori gutako bakoitzak egiaztatzen du, ordenagailu eramangarriaren kargagailuaren kaxa nola berotzen den ikusten dugunean. Hortik kontuak atera zer energia-xahutze izango den Interneteko milioika zerbitzari eta ordengailuetan, eta telekomunikazio-sistemetan. Gainera, horiek guztiek etenik gabeko elikadura-ekipamenduak (UPS deituak) behar dituzte.

Korronte alternoa izan da sistema nagusia, transformadoreen bidez tentsioa aldatu, tentsio altuan urrutira transmititu eta kontsumotik hurbil, berriro ere transformadoreak erabiliz, tentsioa jaitsi ahal izateagatik. Teknologia aurreratu egin da, ordea, eta gaur egun efizientzia handiz egiten dira korronte alternotik korronte zuzenerako eta alderantzizko bihurketak. Horren ondorioz, korronte zuzenean tentsio altuan elektrizitatea transmititzea bideragarria da orain. Bestalde, lekuan-lekuan energia elektrikoa korronte zuzenean sortu, metatu eta erabiltzeko joera dago zenbait sektoretan.


Eraikin eta fabrika gehienak korronte alternoz hornitzen badira ere, korronte zuzeneko sistemak ohikoak ari dira bihurtzen eraikin barruko komunikazioetan, IKT sareetan, eraikinen automatizazioan, suteen aurkako eta segurtasuneko ekipamenduetan, etab. 

Korronte zuzenean kontsumitzen den energiaren banaketa sistema berarekin egiteak baditu abantailak ekipamenduen fabrikatzaileentzat, kontsumitzaileentzat, sistema elektrikoentzat eta ingurumenarentzat, honako arrazoi hauengatik gutxienez:


  • Korronte alternotik zuzenerako, alderantzizko edo alternotik alternorako bihurketa gutxiagok efizientzia handitzen duelako.
  • Osagai gutxiago erabiltzeak sistemaren fidagarritasuna handitzen duelako.
  • Inbertsio txikiagoak egin behar direlako.
  • Korronte alternoko sistemek dituzten sinkronizazio-eskakizunak ez izateak kontrola errazten duelako.
Distantzia handitarako garraioan energia asko xahutzen bada, zergatik ez bultzatu lekuan-lekuko korronte zuzeneko sorkuntza eta mikrosareak?