EusCrawl, euskarazko hitzen korpus erraldoia
EHUko informatikari euskaldunen IXA taldeak orain arte osatutako euskarazko hitz-corpus handiena bildu du, prozesatu du Hitz zentroaren partaidetzarekin (eta Meta enpresaren laguntzarekin ere), eta berrerabilpenerako prestatu du zenbait formatutan. Creative Commons lizentziekin jarri dituzte erabilgarri materialak, EusCrawl izenarekin.
Guztira 12.5 milioi dokumentu eta 423 milioi hitzez osatuta dago, eta eskuz aukeratutako Interneteko hainbat webgunetatik dokumentuak xurgatuz (crawl ingelesez) osatu da. Corpusa bi formatu ezberdinetan dago eskuragarri: JSONL eta TXT. Hau da helbidea: http://ixa.ehu.eus/euscrawl/
Zenbait iturritan dute jatorria testuek, eta horien arabera da berrerabilgarri edukia lizentzia batekin edo bestearekinb: Cc-by-sa lizentzia librearekin eskuratu da edukia Wikipediatik, Berriatik eta Argiatik. Beste murrizketa batzyk dituzte Hitza batzuen edukiek, edo Bilbo Hiria Irratitik eskuratuek.
Zertarako erabili ahal izango da EusCraweleko korpus handi hori? Adimen artifizialean oinarritutako hizkuntza-ereduen teknologian izango du aplikazioa. IXA taldeak azaldu duen bezala, "Hizkuntza-ereduak testu kopuru handiak erabiliz entrenatzen dira, eta, testua irakurriaz, gai dira hizkuntzaren egitura ikasi eta testu berriak sortzeko. Gaur egungo hizkuntzaren prozesamenduko aplikazioen muinean aurki ditzakegu hizkuntza-ereduak, dela bilaketa eta galderen erantzunean, itzulpen automatikoan, ahotsaren ezagutzan edo elkarrizketa-sistema zein txatbotetan. Labur esateko, hizkuntza-ereduak dira hizkuntzaren inguruan egiten diren aplikazio gehienen motorra, eta testuak dira motor horren gasolina".
Hizkuntza-eredu onak eraikitzeko behar den testu kopurua oso handia da. Ingelesa bezalako hizkuntzetarako testuak aurkitzea ez da arazoa; baina hala ere, kopurun horiek bildu egin behar dira, eta horrela zientzialariak lanak hartu dituzte Colossal Clean Crawled Corpus (C4) izeneko corpusa sortzeko aidbidez, 156.000 milioi hitz dituena.
EusCrawl konparazioan, txikia da, baina nonbait hasi behar. Gainera, euskararen kasuan egon dira testu-masa handiak sortuta, baina kalitatearen aldetik ez omen guztiz fidagarriak: Google eta Meta-AI (lehen Facebook) enpresek Internetetik automatikoki jaitsi eta dokumentuen hizkuntza programa bidez identifikatu izan dituzten mC4 (1.000 milioi hitz) eta CC100 (416 milioi hitz) corpusak dira.
Izatez, EusCrawl horiek baino txikiagoa izan arren, erabili dute jada eratorritako beste produktu batzuk sortzeko ere: IXAkoek EusCrawl-ekin entrenatutako bi hizkuntza-eredu sortu dituzte, horietako bat egun euskararako dagoen eredurik handiena, 355 Milioi parametrokoa.
Era berean IXAkoek jakinarazi dute EusCrawl erabiliko delaBigScience proiektuan, helburu bezala hizkuntza-eredu eleaniztun eta erraldoi librea eraikitzea duen proiektua, horretarako bost milioi konputazio-ordu erabiliz. BigScience-ren sortuko den hizkuntza-ereduak euskaraz ere jakingo du.
EusCrawl Interneten argitaratu da, eta IXA taldeko bost lagunek egindako lan gisa ere aurkeztu da, paper akademiko batean. EHUko IXA taldearen emaitza dela esan daiteke, baina Meta enpresak ere (Facebook zenak) parte hartu du lanean, IXAn zein Metan zubi egiten duen Mikel Artetxe informatikariaren bidez. Paperra sinatzen dute halaber Itziar Aldabe, Rodrigo Agerri, Olatz Perez de Viñaspre eta Aitor Soroak.
EusCrawli buruzko informazio gehiago, Unibertsitatea.net-en.
Herriko elkarte eta eragileek antolatzen dute Olentzero eta Mari Domingiren etorrera Irunen, sorreratik. Goizetik gauera jakin dute udalak hartu duela ekitaldiaren jabetza eta beraz, ekitaldiaren inguruko azken erabakiak haren gain geratu direla: “Udalari eskatzen diogu... [+]
Badator Euskaraldia, berriz ere. Urte berriko udaberrian izango da oraingoan, antza. Dagoeneko aurkeztu dute eta, egia esanda, harritu egin nau; ez Euskaraldiak berak, ezpada beraren leloak: Elkar mugituz egingo dugu.
Irakurri edo entzun dudan lehenengoan, burura etorri zait... [+]
Ez dakit zuek ere pertzepzio bera ote duzuen –aitor dut: modu azientifikoan hasi naiz idazten hemen–. Pereza hitzaren hedatze naturalaz ari naiz. Gero eta gehiago aditzen baitut Hego Euskal Herriko bazterretan: euskaraz, espainolez eta, jakina, euskañolez... [+]
Lanartea elkarteak Euskal Artisten Lan eta Bizi Baldintzen I. Inkesta argitaratu berri du. Inkesta bete dutenen %40k du jarduera artistikoa lanbide. Batez beste, hilean, 1.027,5 euro irabazi zituzten 2023an. Inkestatuen %33,8k erantzun du azken urtebetean jarduera uztea pentsatu... [+]
Euskara txikitasunean handia den ur emaria dugu. Bertako tanta bakoitzak gure kultura ureztatzen eta biziberritzen du. Egarri den hari itsaso bete ur eskaini. Euskara putzu sakon eta ilun batetik etorri izan bada ere, guztiok atera dugu gure ur-gazi lagina, eta guztiok bilakatu... [+]
Ertzain patruila batek hizkuntz tratu desegokia eman diela salatu dute Donostiako bi herritarrek. Isuna jaso zuten, behin eta berriz euskaraz artatuak izateko eskatu ondoren. Arartekoak kargu hartu dio Ertzaintzari.
Aiaraldea Komunikabidea sortu zuten lehen, eta Faktoria gero. Laudion dute egoitza, eta bertan ari da lanean
Izar Mendiguren. Kazetari, bertsolari, musikari, militante... Ipurdi batez eserleku bi ezin estali litezkeela dio esaerak, baina hori baino handiagoa da Mendigurenen... [+]
78 urterekin hil da ibilbide oparoa izan duen euskaltzalea. Euskal Filologian doktore izateaz gain, hamarnaka lan argitaratu zituen, poesian, nobelan zein saiakeran, baita biografiak eta bertso bildumak ere. Lan handia egin zuen antzerkigintza ikertzen.
Euskaltzaleen Topaguneak hasiera berri bat irudikatu du. Hemendik aurrera Taupa, euskaltzaleen mugimendua izena hartuko du. Euskara elkarteen topagunea izatetik, Euskal Herri osoko euskaltzaleak aktibatzea eta saretzea izango du helburu. Topaguneko kideek adierazi dutenez,... [+]
Nafarroako Legebiltzarrean datorren urteko aurrekontuak ixteko negoziazioetan ari dira egunotan alderdiak, eta horietan adostutakoaren arabera, euskararen Euskararen Nafar Institutuak iaz baino 1,3 milioi gehiago izango ditu.
Euskal Herri osoan euskara eta hiztun komunitatea larrialdi egoeran daudela berretsi zuen azaroan Kontseiluak eta, ostegun honetan, egoera hori Nafarroan zertan datzan azaldu du Iruñean. Era berean, herrialdean ataka horretatik ateratzeko egin beharrekoak azpimarratu ditu.
Ikusle euskaldun gehien biltzen dituen katea da ETB2, datuen arabera. Aldatu Gidoia mugimenduak agerraldia egin du Bizkarsororen kontraprogramatzearen harira. Salatu dute askotan ETB1 lehian sartzen dela ETB2rekin, eta "herritar guztiak eta publiko bakarra helburu izango... [+]
Hamabi haur eskola publiko daude Iruñean, eta horretatik bakarrean dago euskarazko eredua. Protesta egin dute dozena bat eragilek, eta euskal hiztunen “egoera berezia” aintzat har dezan galdegin diote udalari.
Benetan nahasia da euskara ikasteko dirulaguntzen kontu hori. Euskara ikasi nahi duen herritarrak leihatila bat baino gehiagotara jo beharko du egin nahi duen ikastaroa zenbat kostatuko zaion eta dirulaguntzak nondik, nola eta noiz lortuko dituen jakiteko. Oraindik ere dirua... [+]