Mitä on tietokannan ja datan laatu?

Laadukasta teetä teehuoneella Kaliningradissa

Kun katsotaan kirjastojen bibliografista dataa ja tietokantaa jossa se asuu, mitä teidän mielestänne on ”laatu”?

Mitä laatu yleensäkin on, miten sitä nykyään mitataan kirjastojen tietokannoissa ja mistä voimme tietää, että tämä kirjastojen tietyllä tavalla key asset on hyvä? Näissä tietokannoissa on paljon rahaa, aikaa, vaivaa, kunnianhimoa ja jopa ammatti-identiteettiä kiinni, miten voimme varmistua siitä että ne oikeasti ovat hyviä?

Mitä tapahtuisi jos yrittäisi hankkia vaikkapa ISO-9000 -sarjan laatusertifikaatin kirjaston bibliografiselle metadatalle, aineistotietokannalle ja siihen liittyville prosesseille?

Mielenkiintoisia kysymyksiä, ja tärkeitä koska kirjastojen palveluja on suunniteltu enemmän ja enemmän sen varaan että tietokanta ja sen käytettävyys on erinomaista (kts. varaukset).

Advertisement

Q. Ethan McCallum: Bad Data–Mapping the World of Data Problems

O’Reilly on vastikään julkaissut huonoa dataa käsittelevän oppaan Q. Ethan McCallum ja työryhmä: Bad Data Handbook – Mapping the World Of Data Problems (O’Reilly Media, 2012, ISBN 9781449321871).

Q. Ethan McCallum: Bad Data Handbook–Mapping the World of Data Problems

Miltäs tämän teoksen MARC-tietue mahtaa näyttää? Ai täydelliseltä ja tyhjentävältä? Kiva. Entäs 5 vuoden päästä kun tietueparka on vedetty läpi parista formaattikonversiosta ja järjestelmäuudistuksesta?

Ostin e-kirjana, tästä on luultavasti iloa nykyisessä työssäni kun siivoan PIKI-kirjastojen tietokantaa.

Jälkiajatuksia kirjastojen avoimen datan semmasta Jyväskylässä

[kieltämättä asiaan liittymätön, mutta dubstepin tahtiin skänkkäävä kissa 3D:nä]

Torstaina puitiin Jyväskylän kaupunginkirjaston emännöimänä ja Antti Poikolan fasilitoimana kirjastojen suhdetta avoimeen dataan. Tapahtuman muistiinpanot voi, ja kannattaa syynäillä yhteisestä muistiosta. Antti myös videoi alustukset (Antti Poikola, Antti Pakarinen, Petri Tonteri ja minä, 1 tunti 12 min.) ja työpajailun jälkeisen loppukeskustelun (40 min).

Täydentelin muistiota vielä, esim. näkemystäni BTJ:n suhteesta tietokantojemme omistukseen immateriaalioikeuksien näkökulmasta, muutamia ilmassa olevia ideoita ja silmäilin muutenkin muistiinpanoja torstaita hahmottaakseni. Seminaarissa keskustelu pyöri varsinaisen avoimen datan ympärillä toki, mutta kuten noista muistiinpanoistakin ilmenee, monesti tuli esille sekin, että meillä itsellämme ei ole pääsyä omiin datavarantoihimme tai mielenkiintoinen data tuntuu jatkuvasti valuvan näppiemme läpi. Käyttöideoita on vaikka kuinka paljon. En näe perinteisillä perusjärjestelmätoimittajillamme kovin kaksista roolia tässä, joten ei muuta kuin aloite omiin käpäliin vaan! 🙂

Sangen selvä tahtotila asiasta on: datat auki. Olisi tietenkin hyvä saada tarkasteltaviksi ne argumentit ja ongelmat miksi datamme ei ole avointa, ja sitten ratkoa ne.

Nyt on sopivasti myös se aika vuodesta kun kirjastoissa koostetaan tilastoja OKM:lle ym. toimittamista varten. Noita tilastoja on aika paljon, ne ovat hyvin kattavia, julkisia ja niihin on vieläpä avoin käyttöliittymä osoitteessa http://tilastot.kirjastot.fi. Avointa dataa nuo tilastot eivät kuitenkaan ole, sillä varsinainen data ei ole koneellisesti saavutettavassa muodossa. Tulipa mieleen, että nyt kun Kirjastot.fi rakentelee paraikaa uutta versiota kirjastotietokannastaan (josta tulee muuten mahtava) ja myös koneellisesti saavutettava, saataisikohan myös nuo tilastot mukaan?

Yksi mietintämyssyssä pidettävä näkökulma on tämä: suomalaiset kirjastot eivät ole kokeneet asiakseen avata dataansa, mutta muutamat muut toimijat ovat: miten me kirjastot voisimme näitä muiden nyt meidänkin saatavillemme antamia datoja hyödyntää?

Kaksi avoin data -sovellusta tällä viikolla: tuplakontrolli ja VuFind

Metadataa. Kirjastotyön apuprosessien ytimessä!

Turun ja naapurikuntien kunnankirjastojen Vaski-kirjastokimppa julkaisi aineistotietokantansa avoimena datana vähän aikaa sitten. Avoimen datan idea on, että hyödyllinen annetaan esteettä kaikkien käyttöön. Tällainen ajattelu sopii erinomaisesti kirjastoihin. Yksi hauska puoli avoimessa datassa on se, että data on silloin myös meidän itsemme käytössä. Tämä ei ole ollenkaan itsestäänselvää – normaalisti voimme itsekin käsitellä MARC-tietueitamme vain yhdellä työkalulla, nimittäin kirjastojärjestelmällämme. Vaskissa käytämme Axiellin PallasProta, jolla ei voi tehdä kaikkea. On tärkeää päästä dataan käsiksi monin eri tavoin, ja monien eri tahojen toimesta.

Tässä kaksi casea, joissa kuluneella viikolla hyödyin siitä, että minulla (kuten kakikilla maailman ihmisillä) on esteetön pääsy luettelointidataamme.

Case 1: tuplakontrollia

Duplikaattiongelma. Lulz

Täällä Vaskissa me valmistaudumme vaihtamaan PallasPron toiseen Axiell-tuotteeseen, Auroraan. Samassa tietokantaamme tulee mukaan lisää kirjastoja, ja siirrymme FinMARC -luettelointiformaattista MARC21:een. Anna valvoo ja suunnittelee sitä, yhdessä muiden luetteloijien ja Axiellin kanssa.

Vaski, kuten muutkin kirjastotietokannat ovat sangen sotkuisia monellakin tapaa. Esimerkiksi yhdestä teoksesta saattaa olla useita luettelointitietueita (ns. tuplia (tai tripliä (tai quadruplia (ad nauseaum)))). Ne ovat tietokannan käytön kannalta ärsyttäviä, ja niitä yritetään nyt siivoilla pois.

Tein Annalle tällaisen Perl-ohjelman, joka etsii tuplia ISBN-koodin perusteella (joka on tallennettu kenttään 021‡a):

#!/usr/bin/perl
# lists ISBN-codes which appear in more than one MARC record

use MARC::Batch;

my $file = "vaski-kunnostettu.mrc";
my $batch = MARC::Batch->new('USMARC', $file);

$batch->strict_off();
# First, let's create a magnificient hash or arrays, with ISBNs as keys, and
# lists of record ids as values
while ($record = $batch->next()) {
	for my $field ($record->field('021')) {
		my $isbn = $field->subfield('a');
		push(@{$recsperisbn{$isbn}}, $record->field('001')->data());
	}
	++$i;
}

# then let's see through the hash, and print all the ISBNs which appear in more
# than one record, and list all the records ids per ISBN too
while (my ($key, $value) = each(%recsperisbn)) {
	if (@$value > 1) {
		print($key, ": ");
		foreach $recid (values($value)) {
			print($recid,",");
		}
		print("\n");
	}
}

Tämä ohjelma käy järjestyksessä läpi kaikki tietueemme, ja muodostaa kaikista esiintyvistä ISBN-koodeista listan missä kaikissa tietueissa se esiintyy. Lopuksi se tulostaa kaikkien sellaisten tietueiden tunnisteen (kentästä 001), joiden ISBN esiintyy useammassa kuin yhdessä tietueessa. Näitä löytyi reilu 15 000. Anna arvioikoot, mitkä niistä voisi yhdistää keskenään. Yllä oleva Perl-ohjelma on rakennettu MARC::Record ja MARC::Batch -ohjelmointikirjastojen päälle, jotka ovat ilmaisia, standardin mukaisia ja avointa lähdekoodia.

Case 2: verkkokirjaston pystyttäminen

VuFind

Toinen tämänviikkoinen näpertelyn kohde on VuFind. Se on täysiverinen verkkokirjasto-ohjelmisto, verrattavissa esim. KDK-hankkeessa pilotoitavana olevaan ExLibriksen Primoon. Hakumoottorina VuFind käyttää Solria. Vain paras on kyllin hyvää! Sanomattakin selvää, että sekä VuFind että Solr ovat avointa lähdekoodia ja vapaasti käytettävissä.

Taustajärjestelminä VuFind voi suoraan käyttää Alephia, Voyageria, Innovativen Milleniumia, avoimen lähdekoodin eXtensible Catalogia, Kohaa ja Evergreeniä, OCLC PICAa ynnä muita. Kuten erittäin hyvin tiedämme, me suomalaiset yleiset kirjastot olemme marginalisoituneita kansainvälisistä kollegoistamme omine Axiell-järjestelminemme, mutta VuFindin ja Axiellin järjestelmien väliin voi kyllä rakentaa yhteyden. Tämä tapahtuu laatimalla ohjelma, jota VuFindissa kutsutaan ILS -ajuriksi. Toisessa päässä, eli Axiellin kirjastojärjestelmän päässä käytetään Axiell Web Services -rajapintaa, joka on useiden suomalaisten Axiellin tuotteita käyttävien kirjastojen käytettävissä.

Viikin kampuskirjaston eViikki -palvelu

Suomessa VuFind on käytössä ainakin Helsingin yliopiston Viikin kampuskirjastossa, jonka palvelu on nimeltään eViikki. Maailmalta löytyy paljon kirjastoja, jotka ovat valinneet VuFindin.

En perjantaina jaksanut alkaa säätämään virallisen tietohallinnon kanssa tai ehdottelemaan mitään toimiryhmien perustamista ja kerran kuukaudessa pidettäviä pullakahvikokouksia, joten laitoin omin nokkineni palvelimen pystyyn Amazonin EC2 -pilveen. Se oli asiaan jo ennalta tutustuneena oikeastaan pöyristyttävän helppoa ja siihen meni alle tunti. VuFindin olen aiemmin asentanut omalle läppärilleni, mutta nyt pystyttämääni palvelimeen indeksoin myös Vaskin bibliografisen datan ja katsoin järjestelmää muutenkin tarkemmin. Datamme on FinMARCia, mutta olen konvertoinut sen itse MARC21:ksi Kansalliskirjaston ylläpitämillä konvertointisäännöillä sekä USEMARCON-ohjelmalla (kiitos Ulla, Ere ym.). Näitä Axiellkin käyttää kun teetätämme heillä konvertointityötä.

Hyvältä ja selkeältä näyttää toi VuFind kyllä 🙂

Laadukas viikko takana 🙂

Turku ym. Vaski-kirjastot nyt avointa dataa

Kiitos kuvasta David Fulmer (dfulmer@flickr)

Moi, terveisiä Varsinais-Suomesta. Laitoimme tänään koko Vaski-kimppamme luettelointitietokannan sisällön sellaisenaan verkkoon.

Vaskin, eli Turun, Liedon, Maskun, Mynämäen, Naantalin, Nousiaisten, Raision, Ruskon ja Taivassalon kunnankirjastojen yhteisessä tietokannassa on noin 1.7 miljoonaa tietuetta ja niihin on vaihtelevalla tarkkuudella kuvailtu kaikki ne kirjat, lehdet, cd-levyt, DVD:t, nuottivihot, yksittäisiä musiikkikappaleita ynnä muita aineistoja, joita kirjastojen hyllyistä voit löytää. Juuri nämä bibliografiset tietueet ovat historiallisesti muodostaneet kirjastojen tiedonhaun keskeisimmän ytimen, ja haluamme tällä julkistuksella olla mukana kaikenlaisten tietovarantojen käytön esteitä vähentävässä avoin data -liikehdinnässä (engl. Open Data).

Tässä tiedoitteemme, joka lähti tänään lehdistölle sekä tietenkin myös Kirjastot.fi:hin:

Varsinais-Suomen kirjastojen data avoimeksi

30. syyskuuta 2011 10:00

Varsinaissuomalaiset Vaski-kirjastot ovat avanneet aineistotietokantansa sisällön julkiseen käyttöön. Aiemmin vain hakuliittymän kautta käytettävä tietokanta on nyt lisäksi ladattavissa verkosta kokonaisuudessaan, tietokoneella käsiteltävässä muodossa. Tämä mahdollistaa kokonaisuudelle paljon uudenlaisia käyttömahdollisuuksia. Vaski-tietokanta sisältää noin 1.7 miljoonan kirjan, levyn, musiikkikappaleen ynnä muiden teosten julkaisutiedot sekä kirjastoammattilaisten tekemät luokittelu- ja hakusanatiedot.

Open data, tai suomalaisittain avoin data on pyrkimys avata erilaisia tietolähteitä mahdollisimman vapaaseen käyttöön. Erityisesti julkisin varoin tuotettua ja ylläpidettyä dataa ollaan Suomessa avaamassa monilla eri tahoilla.

Kirjastot ovat merkittävä osa yhteiskunnan avointa ja yhdenvertaista tietoinfrastruktuuria. Niiden tietokannat sisältävät paljon huolellisesti koottua tietoa erilaisista kulttuurijulkaisuista ja luonnollisesti kirjastot haluavat edistää näiden tietojen monipuolista saatavuutta. Suomessa kirjaston aineistotietokantojen saatavuutta pyrkivät parantamaan kirjastojen yhteinen Kirjastot.fi Labs -hanke, sekä Kansallinen Digitaalinen Kirjasto, jonka rakentamiseen Vaski-kirjastot myös osallistuvat. Vaski-kirjastoihin kuuluu tällä hetkellä yhdeksän kaupungin- ja kunnankirjastoa (vuonna 2012 17), ja ne palvelvat noin 340 000 suomalaista.

Lisätietoja antavat Varsinais-Suomen maakuntakirjastona toimivan Turun kaupunginkirjaston projektisuunnittelija Mace Ojala (mace.ojala@turku.fi) ja palvelujohtaja Ulla-Maija Maunu (ulla-maija.maunu@turku.fi).

Vaski-kirjastojen tietokanta on avattu yhteistyössä sisältöä tuottavan BTJ:n kanssa.

Henkilökohtainen kiitokseni kollegoilleni täällä Vaski-kirjastoissa ja erityisesti pomoille ja luetteloijille, sekä BTJ:lle jolta suuri osa suomalaisten kirjastojen luettelointityöstä on ostettu ja joka on käytännössä meidän yhteisluettelomme. Terkut myös kansainväliselle open data -yhteisölle 🙂

Nyt avattu Vaski-kirjastojen data on ladattavissa isona läjänä sekä XML-muodossa että MARCille tyypillisessä ISO-2709 -siirtomuodossa osoitteesta http://data.kirjastot.fi. Lisenssinä on erittäin salliva Creative Commons CC0. Kirjastoalan yhteisestä bibliografisesta MARC-standardista on erilaisia versioita, olemme Suomessa vielä siirtymävaiheessa FinMARCista kansainväliseen MARC21:een. MARCista sekä sen eri formaateista löydät lisää tietoa Kansalliskirjaston sivuilta ja meillä on myös erityinen sähköpostilista MARC-asioille… joka on tosin nykyään erittäin hiljainen. Olen bloggaillutkin silloin tällöin MARCista.

Tämä Vaski-julkistus on siis FinMARCia, ja yksittäinen tietue näyttää esim. tällaiselta:

00791nam a22002533 450
001 Ppro853_148215
008 921022s1992 fi 8
021 $a 951-581-008-6 $c sid. $d 162 FIM
041 1 $a fin $c rus
057 $a 68
064 $a 68.22
065 $a 68.22
068 $a 68.22
098 $a 68.22
100 1 $a Ponomareva $h Julia
241 $a Gribnaja kuhnja
245 2 $a Vaskiratsastajan sienisalaatti $b 201 mainiota sieniohjetta $d [Julia Ponomareva & Aleksei Ponomarev] $e [toimittanut ja suomentanut Liisa Viitanen]
260 $a Helsinki $b Taifuuni $c 1992 $e [Pieksämäki] $f RT-paino
300 $a 231 s. $b kuv. $c 22 cm
652 $a keittokirjat
652 $a sieniruoat
700 10 $a Ponomarev $h Aleksei
745 $a 201 mainiota sieniohjetta
745 $a Vaskiratsastajan sienisalaatti

Tai vastaavasti XML:nä

<record>
<leader>00791nam a22002533  450 </leader>
<controlfield tag="001">Ppro853_148215</controlfield>
<controlfield tag="008">921022s1992    fi                      8</controlfield>
<datafield tag="021" ind1=" " ind2=" ">
<subfield code="a">951-581-008-6</subfield>
<subfield code="c">sid.</subfield>
<subfield code="d">162 FIM</subfield>
</datafield>
<datafield tag="041" ind1="1" ind2=" ">
<subfield code="a">fin</subfield>
<subfield code="c">rus</subfield>
</datafield>
<datafield tag="057" ind1=" " ind2=" ">
<subfield code="a">68</subfield>
</datafield>
<datafield tag="064" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="065" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="068" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="098" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="100" ind1="1" ind2=" ">
<subfield code="a">Ponomareva</subfield>
<subfield code="h">Julia</subfield>
</datafield>
<datafield tag="241" ind1=" " ind2=" ">
<subfield code="a">Gribnaja kuhnja</subfield>
</datafield>
<datafield tag="245" ind1="2" ind2=" ">
<subfield code="a">Vaskiratsastajan sienisalaatti</subfield>
<subfield code="b">201 mainiota sieniohjetta</subfield>
<subfield code="d">[Julia Ponomareva &amp; Aleksei Ponomarev]</subfield>
<subfield code="e">[toimittanut ja suomentanut Liisa Viitanen]</subfield>
</datafield>
<datafield tag="260" ind1=" " ind2=" ">
<subfield code="a">Helsinki</subfield>
<subfield code="b">Taifuuni</subfield>
<subfield code="c">1992</subfield>
<subfield code="e">[Pieksämäki]</subfield>
<subfield code="f">RT-paino</subfield>
</datafield>
<datafield tag="300" ind1=" " ind2=" ">
<subfield code="a">231 s.</subfield>
<subfield code="b">kuv.</subfield>
<subfield code="c">22 cm</subfield>
</datafield>
<datafield tag="652" ind1=" " ind2=" ">
<subfield code="a">keittokirjat</subfield>
</datafield>
<datafield tag="652" ind1=" " ind2=" ">
<subfield code="a">sieniruoat</subfield>
</datafield>
<datafield tag="700" ind1="1" ind2="0">
<subfield code="a">Ponomarev</subfield>
<subfield code="h">Aleksei</subfield>
</datafield>
<datafield tag="745" ind1=" " ind2=" ">
<subfield code="a">201 mainiota sieniohjetta</subfield>
</datafield>
<datafield tag="745" ind1=" " ind2=" ">
<subfield code="a">Vaskiratsastajan sienisalaatti</subfield>
</datafield>
</record>

Vaskin asiasanat, jotka eivät ole YSAssa

Sanaston pengontaa

Kävin läpi Vaski-kirjastojen aineistotietokannan ja etsin asiasanat, jotka eivät esiinny tesauruksessa. Ohessa lista yleisimmistä:

esiintymien lkm	termi
202	sotaromaanit
108	Lieto-kokoelma
100	korjausoppaat
66	eräkirjat
38	matkakirjat
29	sisustusoppaat
27	Suomen historia
23	kansanmusiikki: Venäjä
23	jouluaskartelu
22	posliinimaalaus
21	viihdetaiteilija : Suomi
21	salapoliisiromaanit
20	Yhdistyneet kansakunnat
20	kirjasto- ja informaatiopalveluala
20	1980-LUKU
18	vaateompelu
17	rock and roll
16	MURRENÄYTTEET
16	itämaiset taistelulajit
15	sosiaali- ja terveydenhuolto
15	rajavartiolaitos
15	paperiaskartelu
15	laivaluettelo
15	DVD-elokuvat
14	tiedeakatemiat
14	Suomen taideyhdistys
14	piirroselokuvat
13	tabulatuurinotaatiot
13	ranskalainen keittiö
13	nuorten aikuisten kirjat
13	Jeesus Kristus
13	äänentoistotekniikka
13	šamanismi
12	YKSINLAULU
12	vauvanhoito
12	Titanic
12	tilastollinen tutkimus
12	punk rock
12	kaupunkihistoriat
12	historia : 1900-luku
12	arabialainen musiikki
12	1960-luku
11	tšekin kieli
11	säveltäjät : Suomi
11	rentoutuminen
11	muodin historia
11	kuultokudos
10	varastaminen
10	Uusi testamentti
10	taitelijat
10	seminaarit (kokoukset)
10	samanismi
10	rockmusiikki
10	kiinalainen keittiö
10	1800-LUKU

Ohjelman (kts. alla) antamista tiedoista näkee myös, että esim. asiasana muodin historia (jota ei ole YSAssa) esiintyy Vaskin tietueissa Ppro853_137785, Ppro853_541141, Ppro853_541143, Ppro853_541144, Ppro853_541145, Ppro853_541146, Ppro853_541634, Ppro853_561083, Ppro853_561086, Ppro853_561087 sekä Ppro853_561088.

Eri asiasanoja joilla on vain yksi esiintymä Vaskissa löysin 1761 kappaletta. Kymmesti esiintyviä asiasanoja on kahdeksan kappaletta. Miten tällaista dataa olisi parasta havainnoillistaa? Ideoita vastaanotetaan.

Vaski on FinMARC 1998 -muotoa ja kyseisen standardin mukaan kentässä 652 olevat asiasanat ovat peräisin Yleisestä suomalaisesta asiasanastosta, eli YSA:sta (kansainvälisessä MARC21:ssä asia ilmaistaan hieman toisin, kuvaamalla asiasanakenttien osakentässä ‡2 mikä sanasto on kyseessä, tyyliin 650 #7 ‡a bibliografinen valvonta ‡2 ysa).

Tein aiemmin pienen työkalun jolle voi antaa yksittäisiä MARC-tietueita ja se kyselee ONKI-palvelun ohjelmointirajapintaa (APIa) käyttäen ovatko tietueen asiasanat YSO-ontologiassa. Kun YSA julkaisiin vastikään avoimena datana, tuli nyt tekemäni massakäsittely helpommaksi. Työn voi nykyään tehdä omalla koneella, pommittamatta ONKIn rajapintaa noin suurella kyselymäärällä.

Prosessi

Noukin ensin YSA:n SKOS-muotoisesta tiedostosta varsinaiset sanat (prefLabel ja altLabel) tekstitiedostoon yhdeksi pitkäksi, pitkäksi listaksi. 14.6.2011 lataamassani tesauruksessa oli 36991 termiä.

Sekä MARC-data että sanasto ovat saatavilla myös XML:nä, jonka käyttäminen olisi oikeaoppisempaa, mutta en nyt jaksanut säätää niiden kanssa sillä XML:n käsittelytyökalut ovat minulle aika tuntemattomia. Sensijaan olen tottunut operoimaan unixin komentoriviltä ja opettelen myös Perliä.

Tässä kirjoittamani Perl-kielinen ohjelma jota käytin:

#!/usr/bin/perl

use MARC::Batch;

my $file = "vaski-kunnostettu.mrc";
my $batch = MARC::Batch->new('USMARC', $file);
my $sanasto = "~/ysa.lista.alt_too";

$batch->strict_off();
while (my $record = $batch->next()) {
        for my $termi ($record->subfield('652', 'a')) {
        if (system("grep -q -i \"$termi\" $sanasto")) {
            print($termi, ";", $record->field('001')->as_string,"\n");
        }
    }
}

Kuten ehkä huomaat, tämä on hyvin kaukana elegantista. Ensinnäkin käsiteltävät tiedostot on nimetty ohjelman sisällä ja toisekseen kukin termi etsitään sanastosta käyttäen ulkoista ohjelmaa. Tämä aiheuttaa yhden forkin per asiasana, joka on huono asia. Oikeasti vertailu pitäisi tehdä tämän ohjelman sisällä, lukemalla asiasanat tiedostosta yksiulotteiseen taulokkoon tai listaan. Mutta toimii tämä näinkin, kun huonoa ohjelmistosuunnittelua voi korvata prosessoriteholla 🙂 Miniläppärini (joka on ainoa käyttämäni työväline) rouskutteli tätä useita tunteja.

Mutta tämän ei olekaan tarkoitus olla eleganttia. Tämän on tarkoitus osoittaa kirjastoammattilaisille, että me itse voimme ottaa aloitteen käsimme sen sijaan, että odottelemme että järjestelmätoimittajamme tekee kivoja asioita puolestamme (sitä on turha odotella).

Vielä pari huomiota laatimani menetelmän puutteista: se ei huomioi asiasanaketjuja, ja tuon kaltainen huoleton merkkijonojen etsintä johtaa vääriin tuloksiin mikäli etsittävä epäkelpo asiasana esiintyy osana kelpoa asiasanaa. Tälle asialle pitäisi todella tehdä jotain.

Mitä välii?

Ymmärtääkseni kaikkien 652-kentässä olevien termien pitäisi olla peräisin YSA:sta. Näin sanoo myös FinMARC -formaatti. Asiasanoja joita ei YSAssa ole, ei pitäisi käyttää ainakaan kyseisessä kentässä. Kuten tiedämme, ei asiasanasto kuvaa kaikkia maailman ilmiöitä. Siksi paikallisille sanastoille onkin tarvetta.

Minua paremmin luettelointiin perehtyneet tietänevät mitä sisällönkuvailussa oikeasti kuvaillaan. Jossain lienee sovittu, onko sisällön lisäksi aiheellista kuvailla muotoa. Esim. Vaskissa käytetään termejä ”Nintendo Wii”, ”sotaromaanit” ja ”elämäkerrat” kuvailemaan muotoa. Nämä teokset eivät kerro Nintendon Wii-peleistä, sotaa kuvaavista romaaneista tai elämäkertojen kirjoittamisesta, vaan ovat niitä. Ehkä tämä on ookoo – en jaksa nyt lueskella luettelointisäännöstöä asiaa tarkistaakseni enkä muista ulkoa mitä siellä sanotaan. Mutta ei ole vaikea nähdä että tämä on problemaattista. Ihmettelin samaa asiaa aiemmin, kun mietin minkähänlaista olisi “ihan oikea kirjastotyö” pelien parissa?

Mainiot luetteloijat ovat arvatenkin tämän muoto vs. sisältö -asian ratkaisseet jollain sopimuksella (joka siis lienee kirjattuna luettelointisääntöihin). Käytännössä ainakin Vaskissa kuvaillaan surutta sekä muotoa että sisältöä 652 -kentässä.

Tässä on muitakin mielenkiintoisia puolia: MARC-tietueessa ei esimerkiksi ole mitään tietoa siitä, mitä YSAssa on ollut tietueen luontihetkellä. YSA muuttuu ajan myötä, kenties osa nyt listaamistani termeistä on ollut kyseisen luetteloijan käyttämässä YSA:n versiossa luettelointihetkellä… MARC-tietueesta itsestään puuttuu tällainen tekninen metadata.

Kirjoitusvirhe luetteloinnissa on fataali virhe, ja teos katoaa kyseisen aiheen kannalta mustaan aukkoon. Varsinaisia kirjoitusvirheitä löysin Vaskista onneksi vain ihan muutaman.

Monet löytämäni, YSA:n ulkopuoliset termit ovat hyvin käytännöllisiä ja olen oikeasti onnellinen että niitä on tietueisiin luettelointisääntöjen vastaisesti tallennettu. Tämä kertoo sanaston puutteellisuudesta ja myös luokitusjärjestelmän puutteista, sekä kirjastoihmisten omatoimisista ongelmanratkaisupyrkimyksistä. Se on tietenkin aivan oikein. Nämä itse keksityt termit voisi eristää omaan sanastoonsa, jolla YSAa täydennetään, ellei ole YSAn tarkoituksenmukainen ylläpito ole mahdollista. Lisäksi meillä on käytettävissämme useampia sanastoja YSAn rinnalla ja niitä olisikin hyvä käyttää MARC-tietueen sellaisissa paikoissa, jotka eivät ole YSAlle varattuja.

Kirjastot.fi:n kirjastotietokantaa uudistetaan; voin välittää viestiä

Helsingistä Hailuotoon

Kirjastot.fi:n kirjastotietokantaa päivitetään. Olen mukana parissa siihen pyrkivässä workshopissa. Jos teillä blogin lukijoilla on ideoita kirjastotietokannan suhteen, niin heittäkääpä tännepäin. Ensimmäinen workshop on jo huomenna, pari muuta tässä kevään ja alkukesän mittaan.

Pohjana on Kirjastot.fi:n käyttäjätutkimus, jossa on selvitelty sivustoon ja kyseiseen kirjastotietokantaan kohdistuvia odotuksia sekä sitä miten ihmiset sitä käyttävät.

Tietokannassa on nyt jo kaikenlaista erinomaista. Esim. kustakin kirjastosta on paikkatiedot gps-koordinaatteina ja kunkin kirjaston omalla sivulla tietokannassa on suoraan kartta, jossa mukavasti näkyy kirjaston sijainti. Palvelu osaa myös suositella reittiä kyseiseen kirjastoon. Kirjasto-organisaation sivulla on kivasti suora linkki sen omiin tilastoihin; ehkä niitä voisi noutaa näkyville spesifimmin.

Tietokanta voisi olla saatavilla myös ohjelmille; APIn pitäisi ymmärtää paikan nimiä riittävän hyvin, palauttaa tiedot hyvässä XML-muodossa (KML tms.) jne. Voisi integroitua Frankkiin (jonka uusi versio on valmis Ihan Kohta) sekä Helkaan; itsellä ollut eräänkin kerran vaikeuksia tulkita missä Helkasta löytämäni teos oikeastaan sijaitsee. Esim. tänään etsin Museo-lehteä. Ei olisi hieman parempi visuaalisuus haitannut. Helkan mukaan lehti löytyy seuraavista ikävänkuuloisista paikoista:

Helka: Museo -lehden sijainnit

Kirjasto	Sijainti
Eläinmuseon kirjasto, vain lukusalikäyttöön	Hmetm I A
Kansalliskirjasto, ei kotilainaan	H Ref. Aikakausl.
Kasvimuseon kirjasto, laina-aika 28 vrk	Hmkti Kasvimuseon kirjasto Per. Museo
Kotimaisten kielten tutkimuskeskus Kirjasto laina-aika 28 vr	Su SUK P Museo
Käyttäytymistieteet / Minerva, ei kotilainaan	Hk Lehdet Varasto Museo
Museovirasto Kansallismuseo, 1.6.-31.8. rajoitetusti to 9-16	B KUMU 45 Museo
Museovirasto Kansallismuseo, 1.6.-31.8. rajoitetusti to 9-16	B Konserv. Museo
Museovirasto Kansallismuseo, 1.6.-31.8. rajoitetusti to 9-16	B KM käsikirj. Museo
Museovirasto, 1.6.-31.8. muuton takia avoinna vain to 9-16	B Kansat. Museo
Museovirasto, 1.6.-31.8. muuton takia avoinna vain to 9-16	B Kehit. Kaukonen Museo
⋮

Tuon näkymän ”kirjasto” -linkki vie täysin erinäköiselle sivustolle, josta tonkimalla katuosoitteet löytyvät. Juuri tällaista kankeutta Kirjastot.fi:n tietokanta voisi yrittää helpottaa jollain tavalla. Samankaltaista parannusta kaipaisi myös HelMet, jossa kirjastojen nimet eivät sentään ole yhtä kryptisiä. Kallion kirjaston voi odottaa sijaitsevan Kalliossa, Rajamäen kirjaston Rajamäessä ja Rikhardinkadun kirjaston Rikhardinkadulla. Tämä ei tosin päde niihin erityisesti espoolaisiin kirjastoihin, jotka on nimetty lähimmän ostoskeskuksen mukaan :^) Eikä Rikhardinkadunkaan kirjaston sijainti ole selvää niille, jotka eivät tiedä missä kyseinen katu sijaitsee. Kirjastossa sijaitsevista HelMet-päätteiltä ei muuten ole helppoa pääsyä mihinkään karttapalveluun, joten tuokin pitäisi ottaa huomioon Kirjastot.fi:n tietokantaa suunniteltaessa.

Sivujen metatiedoissa voisi olla parantamisen varaa, esim. Helsingin kaupunginkirjaston sivulla on metatietoina

<meta name="description" />
<meta name="keywords" />
<meta name="DC.Title" content="Kunnankirjasto" />
<meta name="DC.Creator" content="Kirjastot.fi-toimitus" />
<meta name="DC.Language" scheme="ISO639-1" content="fi" />
<meta name="DC.Subject" />
<meta name="DC.Description" />


Noihin saisi sisällön kyllä poimittua sivuista automaattisesti. Juuri metadatahan on meidän kirjastolaisten ydinosaamista, tai näin ainakin jotkut minulle haluavat mielellään kertoa. Noita parantamalla saataisi lisää koneluettavuutta ja hakukonenäkyvyyttä sekä tietenkin hyvää karmaa. Kirjastojen puhelinnumerot voisivat olla URI-linkkejä tel-skeemalla, niin älypuhelimet ja muut laitteet osaisivat suoraan haistaa sivusta puhelinnumerot. Vertaa 09 310 85000 ja <a href="tel:+358-9-310-85000">09 310 85000</a>. Yhteystietojen ohessa olisi –mikäli mahdollista– hyvä olla suurempi kuva kunkin toimipisteen julkisivusta; sellainen on mainio apu kirjastosuunnistuksessa.

Yksi juttu on se, että tiedot ovat tietokannassa vanhentuneita. Nyt tietojen päivittäminen on hajautettu eri kirjastoille,  joista jotkut päivittävät tietojaan ja jotkut eivät. Tähän olisi tarkoitus tietenkin miettiä jotain parannusta; koneellisesti asia ei välttämättä helposti hoidu, sillä kirjastojen omilla sivuilla kuntien sivujen alaisuudessa on käytössä vaikka minkälaisia julkaisujärjestelmiä joiden kanssa ei voi missään yleisesti ymmärretyssä muodossa tietoja vaihtaa kumpaankaan suuntaan. Sellaistakin olen kuullut ehdoteltavan, että kirjastojen aukiolo-, yhteys- ja paikkatietojen ensisijainen sijainti olisi syytä olla Kirjastot.fi:n tietokanta, ja vasta toissijaisesti oman katto-organisaation (esim. kunnan) alaisuudessa oleva sivusto.

Asiaan melkein liittymättä väsäilin joskus iltapuhteekseni Helsingin kaupunginkirjaston toimipisteet KML-tiedostoon, jota voi käyttää esim. Google Mapsin tai Google Earthin kanssa tai lueskella koneellisesti.

Mitäs teille tulee mieleen? Jo huomenna on siis eka työpaja Kirjastot.fi -sivustoa ylläpitävän Sinisen Meteorin kanssa. Pitäisi yrittää pitää mielessä kenelle palvelu on tarkoitettu ja mitä tarkoitusta varten.