Abstrakti silmäys kahteen kirjastoon (sis. emansipatorista ATK-nostatusta)

Tämä kirjoitus käsittelee ATK:ta. Uskon että automaattisella tietojen käsittelyllä olisi kirjastoille annettavaa. Olen kaavaillut jotain menetelmää visualisoida kirjastokokoelmia. Olen onnistunut keräämään aiheesta muutaman datasetin, mutta varsinainen työ on jäänyt tekemättä, uloslukien analyysi Helsingin kaupunginkirjaston aihepakettien ajallisesta kattavuudesta. Sitäpaitsi en tiedä tilastoanalyysistä yhtikäs mitään. Mutta pyrkimyksenäni on ollut todistaa, että sitä voidaan tehdä heti kun haluamme.

Minusta tällainen on tärkeää.

Tänään jostain syystä innostuin, ja laadin kuvatukset kahden suunnilleen saman kokoisen Varsinais-Suomalaisen yleisen kirjaston kokoelmien luokkien jakautumisesta.

Kirjasto #1

Erään kirjaston kokoelman luokkajakauma

Suurimmat luokat ovat

1. 84.2 (suomenkielinen kaunokirjallisuus)
2. 85.3 (sarjakuvat)
3. 85 (sadut. kuvakirjat. sarjakuvat)
4. 85.1 (sadut)
5. 82.2 (suomenkieliset runot)
6. 99.1 (elämäkerrat. muistelmat)

Kirjasto #2

Erään toisen kirjaston kokoelman luokkajakauma

Toisen kirjaston kokoelma näyttää tältä, ja suurimmat luokat ovat

1. 84.2 (suomenkielinen kaunokirjallisuus)
2. 85.22 (suomenkieliset kuvakirjat)
3. 78.8911 (rock)
4. 85.32 (suomenkieliset sarjakuvat)
5. 78.891 (popmusiikki)
6. 85.12 (suomenkieliset sadut)

Näistä on leikattu pois kaikki luokat, joissa on alle 100 tietuetta. Voisi olla hyödyllisempää rajoittaa esim. luokan syvyyden perusteella vaikkapa pääluokkiin tai yhteen desimaaliin. Huomaa, että tässä olevien kuvajaisten värit eivät korreloi toistensa kanssa, vaikka vertailua ajatellen se olisi erittäin mukavaa. Lisäksi pikaisesti laatimani kuvajaiset ovat karseita lukea (voit kuitenkin avata kuvat isompina niitä klikkaamalla) ja ohjelmakoodissakin olisi paljon kehitettävää… itse asiassa laatimani ohjelma on erittäin karu, eikä edes piirrä noita kaavioita automaattisesti vaan tein ne itse taulukkolaskentaohjelmassa. Mutta kaavioiden tekeminen ohjelmallisesti ei todellakaan ole mikään ongelma. Niitä voisi laatia esim. GC-ohjelmointikirjastoa (ilmainen ja avointa lähdekoodia) tai gnuplotia (ilmainen ja avointa lähdekoodia) käyttäen. Molempiin löytyy tietenkin Perl-rajapinta (ilmaisia ja avointa lähdekoodia).

Käyttäjäystävällisyyden vuoksi nuo yleisen kymmenluokituksen (YKL) numeeriset kentät voisi suoraan automaattisesti muuntaa luokkien nimiksi; se onnistuisi ykl.kirjastot.fi -palvelua käyttäen. Kuvioiden tuijottelu olisi hauskempaa.

Käytin tähän MARC-siirtomuodossa olevia tietokantadumppeja, ensimmäisessä on noin 200 000 tietuetta ja toisessa 280 000. Molemmat sisältävät osakohteet. Poimin kummastakin dataläjästä 054‡a -kentät ja laskin eri arvojen määrät. Tuon datan käsittelyyn menee pieneltä, kohta pari vuotta vanhalta miniläppäriltäni noin 15 minuuttia yhteensä.

Mitä näistä voidaan päätellä? Ei ehkä mitään. Mutta ehkä jotain. Ainakin voidaan päätellä se (no tämänhän kaikki jo varmasti tietävätkin), että kokoelmanhallinnan työkaluja voi kehittää itse helposti ja ilmaiseksi. Ideoita ja työkaluja riittää niin paljon kuin haluaa. Lisäksi voidaan päätellä, että luetteloinnin on oltava hyvää, jotta tässä — tai tiedonhaussa yleensäkään on mitään järkeä. Mutta senkin me tiedämme jo erittäin hyvin.

Tuollaiset kuvajaiset voitaisi hyvin helposti (=automaattisesti ja halvalla) tehdä viikottain jokaiselle suomalaiselle kirjastolle. Ajan oloon nähtäisi miten kokoelmat ovat eläneet. Todella hyödyllistä olisi tehdä rinnalle vastaava analyysi asiakkaiden tekemistä lainoista ja katsoa miten ne korreloivat kirjaston kokoelmien kanssa.

Meillä on ollut kaikki tähän tarvittavat työkalut ilmaiseksi saatavilla vuosikausia. Vuosikymmeniä jopa! Itse käytin tällä kertaa Perliä (ilmainen ja avointa lähdekoodia), MARC::Record -moduulia (ilmainen ja avointa lähdekoodia), OpenOffice Calcia (ilmainen ja avointa lähdekoodia), Gimpiä (ilmainen ja avointa lähdekoodia), geditiä (ilmainen ja avointa lähdekoodia) sekä GNU/Linuxiin (ilmainen ja avointa lähdekoodia) perustuvaa Ubuntua (ilmainen ja avointa lähdekoodia). Koneelliseen käsittelyyn kehitetty MARC-luettelointiformaatti meillä on ollut olemassa 1960-luvulta.

Tätä ominaisutta et muuten löydä Axiell Aurora tai Innovative Millenium -järjestelmistä.

[edit 02.01.2011 katso myös Anna-Liisan Kirjasto-kaapelilla aloittama Tilastot kokoelmien hoidon tukena (credit: mace)]

Advertisement

HelMet ja Open Data

HelMet

Labs.kirjastot.fi

HelMet -kirjastot (eli Helsingin, Espoon, Vantaan ja Kauniaisen kaupunginkirjastot) tekivät kansallisen Labs.kirjastot.fi -hankkeen johdolla pelinavauksen kirjastojen avoimeen bibliografiseen dataan kesäkuun alussa. Tiedoitteen julkaisi Labs 07.06.2010 ja asia huomioitiin välittömästi mm. Tietoviikossa ja Suomen kirjastoseuran uutisissa. Lisäksi siitä kirjoitti Julkinen data–johdatus tietovarantojen avaamiseen -oppaan (Liikenne- ja viestintäministeriö, 2010, ISBN 978-952-243-145-5, verkkojulkaisu ISBN 978-952-243-146-2) laatija Antti Poikola blogissaan sekä Tampereen kaupunginkirjaston ansioitunut verkkokirjoittelija Petri Tonteri Sorvipenkki-blogissaan.

Asiasta tiedotettiin myös kirjastoalan yhteisellä, Kirjastot.fi:n piirissä toimivalla Verkko-foorumilla ja siellä keskustelu lähtikin nopeasti käyntiin. Hurraa -huutoja kuultiin muutama, mutta purematta eivät ainakaan kaikki kirjastolaiset tällaista niele. Heikki Poroilan tekijänoikeuksiin liittyvän huomion jälkeen (siitä lisää alla), kritiikkiä kohdistettiin julkaisun sanavalintoja kohtaan koska vain Helsingin kaupunginkirjasto ja Labs mainittiin tiedotteessa sekä sitä seuranneessa uutisoinnissa. Espoo, Vantaa ja Kauniainen ilmeisesti kokivat jääneensä huomiossa paitsioon, ainakin joidenkin niissä toimivien ammattilaisten mielestä. Opetus: kuntayhteistyö on herkkää. Sinänsä olen onnellinen että ”kapitalistien persettä nuolevaa innovaatiohuuhaata!!” -nurina ilmeni vasta ”meidät pitää mainita myös!!” -nurinan jälkeen.

Kirjastoalan keskustelua seuratessa on muuten hyvä muistaa keskustelujen erittäin huono edustavuus; tuolla Verkko-foorumilla tätä käsittelevään keskusteluun on osallistunut alle 10 ihmistä, Suomessa on 10 000 kirjastoammattilaista, joista puolet yleisissä kirjastoissa ja HelMet-kirjastoissa meitä on jotain viitisen sataa. Päättäjiä on monesti turha toivoa näissä keskusteluissa tapaavansa, edes virastojen omia päättäjiä. Toivottavasti kuitenkin ovat edes lukeneet verkossa käytävää keskustelua. ELY-keskuksista sentään kuuluu toisinaan. Haluaisin kuitenkin tässä julkisesti ilmaista kiitokseni ja kunnianosoitukseni kaikille niille, jotka ovat tähän keskusteluun osallistuneet. Ilman teitä maailma olisi paha paikka. You know who you are! ❤

Projektinhallintaa tyyliin Labs.kirjastot.fi

No niin seuraava, mielestäni merkittävä tapaukseen liittyvä kritiikki käsitteli asiasta päättämistä. Keskustelua ei kuulemma ole ollut. Tämä tietenkin riippuu kenen kanssa yleensäkin on tekemisissä, mutta asiaa puitiin korkeimmassa päättävässä elimessä eli HelMet-johtoryhmässä asiantuntijoiden avulla käsittääkseni noin vuosi ja alan tapahtumissa pidempään. Labsin piirissä tätä on käsitelty joka viikko. Lisäksi Kirjastolehdessä on ollut aiheesta Seppo Verhon artikkeli Kirjastotieto vapaaksi? joka kertoo ymmärrettävästi missä hommassa on kyse. Tietenkin kirjastoalaa yleisemmällä tasolla asiaa on käsitelty vaikka kuinka paljon sekä Suomessa että ulkomailla. Juu, asiaa ei ole puitu ollenkaan niin paljon kuin joitain muita alan puheenaiheita, mutta ei Labs tätä nyt ihan hatustaan ole vetäissyt koko hanketta.

Esiin nousivat luonnollisesti myös tekijänoikeudet. Itse asiassa useampaan kertaan kuin yhdesti. Yksi asia on se, muodostuuko luetteloivalle taholle tekijänoikeuksia bibliografisia metatietoja tuottaessa. Katso pohjalle Kirjastot.fi:n Tekijänoikeudet-foorumin keskustelut Luettelointitietojen tekijänoikeudet huhtikuulta 2009 sekä Kirjastotiedon tekijänoikeudesta joulukuulta 2009 (joka viittaa tuohon yllä mainitsemaani Sepon Kirjastotieto vapaaksi? -artikkeliin).

Vaikka kirjasto onkin julkaisujen metadatan paras ja erinomaisin hallitsija ja käsittelijä, niin käytännössä suuri osa luettelointidatasta oikeasti tehdään muualla kuin kirjastoissa. Suomessa yleiset kirjastot ostavat luettelointitietueita BTJ:ltä, entiseltä Suomen kirjastoseurasta irrotetulta Kirjastopalvelulta. Ulkomaisilta kollegoilta jos kysyy luetteloinnista, nousevat kulmakarvat helposti: ”luetteloida? Miksi me luetteloisimme itse? Mehän olemme kirjastoammattilaisia!”  Katso tästä aiheesta Judy Lutherin NISOlle ja OCLC:lle laatima white paper Streamlining Book Metadata Workflow (1.5MB PDF). BTJ erittäin tärkeän luettelointipanoksen lisäksi kirjastot vaihtavat luettelointietoja myös keskenään, erityisen tärkeä kansallinen tietokanta on yliopistokirjastojen yhteinen Linda. Tekijänoikeuksiin liittyy paljon epävarmuutta ja kykenemättömyyttä hankkia tietoa päätöksenteon tueksi. Niin tai näin, yleinen kanta on ettei yksittäisiä, määrämuotoista luettelointitietueita voida käsittää teokseksi; sitä ei tämän tulkinnan mukaan siis suojaa tekijänoikeus, kuten se ei suojaa ponia, juoksemista tai kausaatiotakaan.

(välihuomio: onkohan sattumaa että kun kuuntelen Behemothia ja googlaan ”tekijänoikeus”, saan tasan 666 000 osumaa 😉

Sen sijaan kokonaisuus ajatellaan olevan suojattu Tekijänoikeuslain tietokantapykälän 49§ mukaan ja sen oikeudet kuuluvat työnantajalle (Tekijänoikeuslaki 40§ 3. mometti). Toissapäivänä 23.06.2010 BTJ julkaisi tätä asiaa huomattavasti valottavan tiedoitteen BTJ mukaan HelMetin avoimen datan hankkeeseen. En vielä tiedä mitä tästä pitäisi oikeastaan ajatella, mutta BTJ:n kanssa on sovittu puolen vuoden karenssiaika avoimelle julkaisulle. Tällä BTJ voi suojata omaa markkina-asemaansa ja toisaalta pysytellä mukana kirjastoalaakin ravistelevassa vapaus- ja avoimuusliikehdinnässä.

Kolmas toistaiseksi esiin noussut ja relevanttina pitämäni kritiikki Open Dataa ja HelMetin datan avauspyrkimystä kohtaan koskee kirjaston monopolia tämän metadatan tarjoajana yhteiskunnalle. Todellisuudessa uskon että BTJ voi oikein mielellään myydä luettelointitietueita muillekin toimijoille kuin kirjastoille. Lisäksi HelMet-tietokannan voi kyllä lupaa kysymättä kopioida itselleen joko osittain tai kokonaisuudessaan ilman että kirjasto erityisesti tarjoaa sitä ladattavaksi. Voin näyttää miten se tapahtuu tai katso esimerkki niin tekemisestä postauksessani Analyysi Helsingin kaupunginkirjaston aihepakettien ajallisesta kattavuudesta.

Julkinen data–Opas tietovarantojen avaamiseen

En tässä nyt halua käydä toistelemaan yleisiä Open Data -argumentteja julkishallinnon palvelutuotannon roolista nimenomaan mahdollistajana, datalukutaidon opettamisesta, siitä että datan arvo lisääntyy käytössä eikä vähene, innovaatiopolitiikasta tai kysymystä ovatko kirjaston asiakkaita vain yksityishenkilöt vai koko yhteiskuntaa tai siitä onko kirjasto itse oikeasti kykenevä kehittämään datan käsittelyä vai voisiko tuolla ulkona olla joku, jolla voisi olla jotain ideoita, taitoja tai muita resursseja joita meillä ei itsellämme ole, järjestelmätoimittajien monopolista julkishallinnon toimintojen kehittäjinä. Näitä argumentteja löydät Julkinen data -oppaasta (toivon että tämä kirjastolaisten käymä keskustelu on hyödyllistä myös muille avointa dataa harkitseville toimijoille ja että muut voivat oppia tästä jotain). Jätän myös sekä GATS-sopimuksen että egalitaristisen liberalistisen yhteiskuntafilosofian pois tästä kirjoituksesta. Myöskään sitä, tarvitseeko yleisen kirjaston ylipäätään olla linjassa demokraattisen poliittisen järjestelmän kanssa ei käsitellä tässä postauksessa.

Neljänneksi, huoli tietokannan eheydestä ja kontrollista on myös noussut esiin, mutta uskon että niiltä osin kyseessä on lähinnä väärinkäsitys. Ei ilmeisesti ole  riittävän selvästi ilmaistu kirjastolaisille, että datan avaaminen tuottaa kopioita HelMet-tietokannasta, eivätkä niihin tehdyt muutokset heijastu takaisin kirjaston omaan tietokantaan tai HelMet.fi -palveluun. Kirjastoilla on näillä näkymin itseasiassa erittäin rajalliset mahdollisuudet hyötyä muiden toimijoiden tekemistä muutoksista kyseiseen tietokantaan, valitettavasti

Tässä esimerkki kirjastojen käyttämästä MARC-muotoisesta luettelointitietueesta:

LEADER 00000nam  2200000   4500
001    9517680422
005    20021115040347.0
008    990215s1999    xx                  fin
020    951-768-042-2 (sid.)
041 1  fin|h(eng)
080    32
080    1
084    11.3
100 1  Hobbes, Thomas
245 10 Leviathan, eli, Kirkollisen ja valtiollisen yhteiskunnan
       aines, muoto ja valta /|cThomas Hobbes ; suomentanut Tuomo
       Aho
260    Tampere :|bVastapaino, |c1999
300    592 s. :|bkuv. ;|c22 cm
546    suomi
574    T.Karppanen|b9902HELAIK
575    |b9905espaik
577    |b0005vanaik
588    321
589    11.3
590    11.3
599    KIRJA / BOK
650  4 yhteiskuntafilosofia
650  4 valtiofilosofia
650  4 valta
650  4 kirkko
700 1  Aho, Tuomo.
740 0  Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja
       valta
765 0  |tLeviathan or the matter, forme and power of a
       commonwealth ecclesiasticall and civill, 1651
913 00 HOBLEKJ99000

Nyt julkaistussa HelMet-tietokannan -dumpissa tietueet ovat MARCin XML-muodossa (MARCXML) ja äskeinen näyttää tältä:

<record>
    <leader>01070nam 2200361 4500</leader>
    <controlfield tag="001">9517680422</controlfield>
    <controlfield tag="005">20021115040347.0</controlfield>
    <controlfield tag="008">990215s1999 xx fin </controlfield>
    <datafield tag="020" ind1=" " ind2=" ">
        <subfield code="a">951-768-042-2 (sid.)</subfield>
    </datafield>
    <datafield tag="035" ind1=" " ind2=" ">
        <subfield code="a">(FI-HELMET)b1297761</subfield>
    </datafield>
    <datafield tag="041" ind1="1" ind2=" ">
        <subfield code="a">fin</subfield>
        <subfield code="h">(eng)</subfield>
    </datafield>
    <datafield tag="080" ind1=" " ind2=" ">
        <subfield code="a">32</subfield>
    </datafield>
    <datafield tag="080" ind1=" " ind2=" ">
         <subfield code="a">1</subfield>
    </datafield>
    <datafield tag="084" ind1=" " ind2=" ">
         <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="100" ind1="1" ind2=" ">
        <subfield code="a">Hobbes, Thomas</subfield>
    </datafield>
    <datafield tag="245" ind1="1" ind2="0">
        <subfield code="a">Leviathan, eli, Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja valta /</subfield>
        <subfield code="c">Thomas Hobbes ; suomentanut Tuomo Aho</subfield>
    </datafield>
    <datafield tag="260" ind1=" " ind2=" ">
        <subfield code="a">Tampere :</subfield>
        <subfield code="b">Vastapaino, </subfield>
        <subfield code="c">1999</subfield>
    </datafield>
    <datafield tag="300" ind1=" " ind2=" ">
        <subfield code="a">592 s. :</subfield>
        <subfield code="b">kuv. ;</subfield>
        <subfield code="c">22 cm</subfield>
    </datafield>
    <datafield tag="546" ind1=" " ind2=" ">
        <subfield code="a">suomi</subfield>
    </datafield>
    <datafield tag="574" ind1=" " ind2=" ">
        <subfield code="a">T.Karppanen</subfield>
        <subfield code="b">9902HELAIK</subfield>
    </datafield>
    <datafield tag="575" ind1=" " ind2=" ">
        <subfield code="b">9905espaik</subfield>
    </datafield>
    <datafield tag="577" ind1=" " ind2=" ">
        <subfield code="b">0005vanaik</subfield>
    </datafield>
    <datafield tag="588" ind1=" " ind2=" ">
        <subfield code="a">321</subfield>
    </datafield>
    <datafield tag="589" ind1=" " ind2=" ">
        <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="590" ind1=" " ind2=" ">
        <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="599" ind1=" " ind2=" ">
        <subfield code="a">KIRJA / BOK</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">yhteiskuntafilosofia</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">valtiofilosofia</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">valta</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">kirkko</subfield>
    </datafield>
    <datafield tag="700" ind1="1" ind2=" ">
        <subfield code="a">Aho, Tuomo.</subfield>
    </datafield>
    <datafield tag="740" ind1="0" ind2=" ">
        <subfield code="a">Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja valta</subfield>
    </datafield>
    <datafield tag="765" ind1="0" ind2=" ">
        <subfield code="t">Leviathan or the matter, forme and power of a commonwealth ecclesiasticall and civill, 1651</subfield>
    </datafield>
    <datafield tag="913" ind1="0" ind2="0">
        <subfield code="a">HOBLEKJ99000</subfield>
    </datafield>
</record>

MARC on ilmaisuvoimainen, muttei todellakaan kovin nykyaikainen datamuoto. Ongelma on muun muassa se, ettei se ilman käytössä ollutta luettelointisäännöstä todella sitoudu muuhun maailmaan. Esim. se, että ylläolevassa tietueessa on asiasanat (kentissä 650‡a) yhteiskuntafilosofia, valtiofilosofia, valta sekä kirkko ei auta yhtään, ellei tiedossa ole sitä, mitä asiasanastoa tai ontologiaa käytetään, missä se sijaitsee ja miten sitä käytetään. Lisäksi tekijänä on mukamas Hobbes, Thomas mutta tämä ei ole viittaus henkilöön, vaan tietokoneen kannalta täysin merkityksetön merkkijono. Toisinaan toistellaan mantraa ”context is king”. Kirjastodataa käsitellessä se on syytä esittää muodossa ”context is lost”.

Linked Open Data (CC, Richard Cyganiak+Anja Jentzsch)

MARCia ja MARCXML:ää voidaan kuitenkin koneellisesti leipoa, tavoitteena vaikkapa Open Linded Data tai tilastoanalyysi kirjaston tarjoamasta aineistosta. Tiedän että parillakin eri taholla on paraikaa pyrkimyksiä HelMetin datan muokkaamiseen juuri tähän suuntaan. Tätä ja avointa kirjastodataa yleensäkin käsiteltiin ELAG 2010-konferenssissa Helsingissä samaan aikaan kun HelMetin avaaminen tapahtui. HelMetissä käytössä oleva Innovative Millenium kirjastojärjestelmä ei todellakaan mahdollista mitään tällaista, mutta tiedon irroittaminen kirjastojärjestelmästä avaa aivan erilaiset mahdollisuudet käsitellä dataa halutulla tavalla.

Hyvältä näyttää, eli jatketaan! Kirjastot.fi:n Labs sekä HelMet avasivat pelin. Seuraavaksi haastan Kansalliskirjaston ylläpitämän kansallisbibliografian Fennican mukaan Open Data -liikkeeseen.

Analyysi Helsingin kaupunginkirjaston aihepakettien ajallisesta kattavuudesta

Kirjasto on kertomus. Nimenomaiseen kertomukseen sisältyy väite, että kirjasto tuo esille kirjallisuuden (ym. julkaisujen) niin kutsuttua pitkää häntää. Siis pitämällä käytössä ja nostamalla esiin aineistoa, johon ei yksittäisinä julkaisuna kohdistu suurtakaan mielenkiintoa, mutta joka on määrällisesti laajaa.

Viime viikolla tuli mieleen, että Helsingin kaupunginkirjaston aihepakettien tonkiminen toisi tähän ehkä jotain valoa. Aihepaketit ovat sikäli mielenkiintoinen tutkimuskohde, että niiden laatimista ei ole keskitetysti juuri ohjattu; päin vastoin laatijoilla on vapaat kädet vinkata haluamaansa aineistoa, ja koko henkilökunta on pakettien kokoamiseen tervetullut. Näin voitaisi ajatella, että aihepaketit heijastavat kirjastoammattilaisten omaa näkemystä tällaisesta vinkkaamisesta ja aineiston esiin tuonnista, eikä organisaation näkemystä.

Koodasin ihmeellisillä bash-taidoillani pari loitsua, jotka käyvät hakemassa aihepakettien web-sivut kaupunginkirjaston julkaisujärjestelmässä asustavasta aihepakettiarkistosta, tonkivat niistä linkit pääkaupunkiseudun näyttöluetteloon HelMetiin ja käy vielä poimimassa sieltä ns. xrecord-tiedostot, jotka ovat XML-muotoisia MARC 21 -tietueita. Sieltä löytyy kenttä 260‡c, eli Julkaisu-, jakelu- jne. aika. Työkalusettinä minulla on perinteinen unix-varustus tyyliin sed, wget ja libxml:ään nojaava xpath. Logiikka on toteutettu bashillä. Oikeasti minun pitäisi opetella Perl-ohjelmointia juuri tällaista toimintaa varten.

Toivoin tällä tutkimuksella osoittavani, että toisin kuin yleensä tykätään toisella, kirjastolaiset oikeasti nostaisivat näissä paketeissa esille lähinnä uutta materiaalia. Ajattelin etukäteen, että ehkä 80% kohdistuisi viiden edellisen vuoden aikana julkaistuun aineistoon. Valitettavasti (tai siis onneksi) jouduin pettymään, sillä läpikäymäni aihepaketit todellakin nostivat esiin suuren määrän vanhempaa aineistoa!!

Kävin läpi vain vuosien 2010 ja 2009 aihepaketit. Tältä vuodelta on 16 aihepakettia, viime vuodelta 43. Tekemäni työkalu löysi näistä suoria viitteitä teoksiin 186 ja 747 kappaletta.

Alla tulos:

Vaikka painoa kertyykin huomattavasti viiden edellisen vuoden julkaistulle aineistolle vuonna 2009, ei käyrä ole ollenkaan niin jyrkkä kuin olin kuvitellut. Paljonkos se kirjan keskimääräinen aika kirjakaupan hyllyllä onkaan? Jotain 6 kuukautta tai jotain?

X-akselin otsikot ovat tässä aika pientä tihrua, mutta akselilla on sata vuotta julkaisuja vuodesta 1910 alkaen. Suurempi, paremmin luettava versio kuvasta löytyy Flickristä. Nyt nappaamani datat sekä työkalun saa minulta jos haluaa. Tai voin jatkaa työtä jos se jotakuta kovasti kiinnostaa ja siitä olisi kirjastoaatteen ja maailman hyvyyden kannalta iloa.

Mistään käyttämistäni työkaluista ei kiitos kuulu järjestelmätoimittajillemme (Innovative Interfacesin Millenium, Sinisen Meteoriitin Meteor). Ne eivät tarjoa mitään työkaluja tällaiseen tietojen ynnäilyyn eri lähteistä. Kiitos kuuluu sen sijaan avoimen lähdekoodin kansainväliselle yhteisölle, joka on kymmeniä vuosia herkeämättä tuottanut joustavia, tehokkaita, ilmaisia ja vapaita työkaluja, joita ilman maailma olisi erittäin erilainen kuin on. Kiitos.

Samalla menetelmällä ja tekemieni työkalujen avulla voi piirrellä erilaisia graafeja. Esim. käppyrän voisi rajoittaa vain tieto- tai kaunokirjallisuuteen tai vaikka musiikkiin. Myös aiempien vuosien käppyrät voisi piirtää. Aihepaketteja on nyt yhteensä 209, vuodesta 2006 lähtien. Tekemäni työkalusetti ei ole todellakaan täysautomaattinen (tosin tämä proof-of-concept todistaa, että työkalun voisi kehittää sellaiseksi), mutta pointti on, että meillä kirjastoilla on kaikenlaista dataa, jota voimme tutkia jos haluamme. Tämän tekemiseen meni noin yksi työpäivä, mukaan lukien tämä blogikirjoitus.

Ajallinen näkemys pitkään häntään on yksi tapa katsoa asiaa. Jos myös kirjastojen lainaustilastot olisivat saatavilla (kuten niiden pitäisi olla), voitaisi vastaavalla tavalla selvittää vaikkapa kuinka paljon kirjastolaiset nostavat esiin aineistoa jota ei lainata paljoakaan.

Kohan suomennos on nyt jossain vaiheessa

Tässä talven mittaan on ollut meneillään epämuodollinen ja aika impulsiivinen Kohan suomennos. Vielä keskeneräinen käännös on nyt jonkin aikaa ollut näkyvillä Labs.kirjastot.fi:n tarjoamassa Koha-asennuksessa , eli osoitteessa http://koha.kirjastot.fi. Se on toiminnalliselta puolelta melkolailla suomenkielinen. Kommentteja vastaanotetaan.

Aineistona tuossa Koha-asennuksessa on Project Gutenbergin sisältö. Auktorisoitua asiasanastoa ei tässä vaiheessa tosin ole, sellainen tarvittaisi kyllä sekä suomennoksen testaamiseksi että muutenkin. Onko kellään ideoita miten sellaisen saisi haltuunsa ja miten sen kikkailisi Kohaan? Periaatteessa yksi hailee mikä asiasanasto, mutta YSA olisi varmaan käytännönläheisin Kohan testailuun. Pitäisi varmaan fiilailla tuota testi-Kohaa parempaan esittely- ja demoilukuntoon.

Aloitin myös KirjastoWikiin sivun Kohan suomentamisesta.

Ja kysytäämpä vielä täälläkin: mikä sinusta on ”tag” suomeksi? ”Tagi”, ”tägi” ja ”avainsana” ovat ne ilmeiset ehdokkaat. Merkkasin nuo KirjastoWikissä olevaan termitaulukkoon, käykääpä äänestämässä tuon termin suomennosta laittamalla plus- (+) tai miinus (-) -merkkejä tuohon taulukkoon. Samalla voi kurkistaa ko. wikisivun rinnalla käytävää keskustelua.

Jos ei vielä ole selvää, niin Koha on avoimen lähdekoodin kirjastojärjestelmä. Siis vähän niin kuin PallasPro, Origo, Voyager, Aleph, Innovative Millenium ja tuleva Axiell Aurora, mutta ohjelman toiminta ei ole salaisuus. Esim täältä voi katsoa ja muokata miten haku ihan oikeasti toimii ja mitä relevanssialgoritmi tekee.

Suomennetaas piruuttaan toi Koha

Aloitimme viime viikolla Kohan suomentamisen. Nyt käännetään aineistoluettelon l. näyttöluettelon l. OPACin l. verkkokirjaston puoli, eli se asiakkaille näkyvä osa. Työn alla on Koha 3.0:n OPAC.

Meillä on pieni ryhmä Google Groupsissa jossa on puitu terminologiaa. Kohasta on muutenkin tullut sähköpostiteltua tässä talven mittaan muutaman suomalaisen kirjastoaktivistin sekä sellaisten kirjastojen kanssa, joissa se on käytössä. Niitä ei tosin ole montaa kappaletta. Mutta riittävän monta, jotta suomeksi kääntäminen kannattaa tehdä (eli enemmän kuin 0 kpl). Kerran kääntämisestä hyötyvät kaikki, mutta voi olla olemassa monta erilaista suomennosta. Itse teen työtä Kirjastot.fi:n Labs-hankkeen nimissä ja Labs onkin asentanut Kohan kaikkien niiden kokeiltavaksi, joita kyseinen avoimen lähdekoodin kirjastojärjestelmä kiinnostaa. Myös Evergreen on asennettu tutkittavaksi. Teen suomentamista ”virkamiestyönä”, eli ilman mitään erityistä projektisuunnitelmaa tms. sekoilua. Virkamiestyön ja talkootyön ero on hienonhieno 🙂 En tiedä miten muut Kohan suomentamisessa mukana olevat ovat omaa työtään organisoineet, eikä oikeastaan kiinnostakaan – kunhan saadaan jotain aikaan ja hyvä pysyy kierrossa. Koha käyttää PO-tiedostoja ja kääntämistä eri kielille tehdään Pootle -ympäristössä. Tai voi muitakin käännöstyökaluja käyttää jos haluaa, mutta ainakin tässä vaiheessa tuo Pootle on osoitteutunut näppäräksi.

Tässä käännöshankkeessa on muutamakin kiehtova puoli. Ensinnäkin tämä on konkreettnen osoitus siitä, miten avoin lähdekoodi ja yhteisöllinen kehittäminen yleensäkin toimii. Uskoisin, että tuota Kohan OPACin suomennosta päästään kokeilemaan ensi viikon loppupuolella. Vertailun vuoksi HelMet-alueella on vähän aikaa sitten otettu käyttöön Innovativen mobiilituote AirPAC, joka on siis käytännössä helmet.fi -sivusto älypuhelimille sopivammassa muodossa. Se on saatavilla Innovativelta vain englanninkielisenä. Niinsanotusti kansainvälinen versio on pääkaupunkiseutulaisten käytössä ehkä 2012. Todellisuudessa kääntäminen varmasti sujuisi päivässä parissa, jos siihen vain olisi mahdollisuus. Pointti on, että avoimen lähdekoodin ohjelmistoissa ei ole mitään yhtä tahoa, joka voi estää halukkaita tekemästä omasta ja toisen elämästä parempaa.

Toinen kiehtova puoli Kohan kääntämisessä on se, että edes hieman mahdollistaa kirjastojärjestelmistä ja niiden valitsemisesta keskustelemista. Tilannehan on Suomen yleisissä kirjastoissa nyt se, että järjestelmätoimittajia on tasan yksi kappale. Axiell. No pääkaupunkiseutu uloslukien. Ei minulla periaatteessa ole mitään Axiellia vastaan, mutta sitä vastaan on, ettei ole mitään vaihtoehtoja joista edes keskustella, tai joihin verrata käytössä olevaa järjestelmää. Tulevaisuudessahan se tulee olemaan Axiellin Aurora, kun Axiell siirtää Pallas ja Origo -asiakkaansa siihen.

HelMet on yhä enemmän 2.0

HelMet

Lienettekö huomanneet, että pääkaupunkiseudun yleisten kirjastojen näyttöluettelo sallii nykyään arvioiden kirjoittamisen? Sitä en osaa sanoa aikooko kirjasto tarjota itse kirjallisuusarvioita niitä tuottamalla tai hankkimalla julkaisuoikeuksia ammattilaisten laatimiin kirja-arvioihin vai onko tarkoitus että vain loppukäyttäjät (siis ihmiset) laativat niitä.

Jokatapauksessa asiakkaille arvion kirjoittaminen onnistuu kirjautumalla normaalisti kirjastokortin numerolla sekä siihen liittyvällä pin-koodilla. Teoksen saatavuustietojen alapuolelta, käyttäjien antamien tähtien vierestä löytyy nappi ”kirjoita arviointi”.

Muita, vastaavia palveluja on sekä käytössä että vireillä pilvin pimein ja niitä onkin kirjastoalalla kaipailtu jo vuosia. Tai ainakin jotkut ovat kaipailleet, minä mukaan lukien.

Kotimaiset kirjastomarkkinat itseensä käytännössä kokonaan integroinut Axiell myy Arena -palvelua ja se on käytössä jo Hämeenlinnassa ja tulossa mm. Tampereelle. Axiellin Arenalle kilpailija on ruotsalaisen Teknikhusetin CS Library. CS Libraryn hatussa on sulka mm. Tukholman kaupunginkirjaston verkkosivu-uudistuksesta. Molemmat ovat varsinaisen kirjastojärjestelmän sekä niiden perinteisen ankeiden webbisivustojen päällä/rinnalla pyöriviä, rikkaampia sivustoja. Tällaisista ohjelmistoista puhutaan discovery interfacena.

Saatavilla on jo vuosia ollut ”kirjasto 2.0” -tuotteita, joista suuri osa on saatavilla myös ilmaiseksi (lähdekoodeineen) ja heti käyttöönotettavissa. Näistä mainittakoot SOPAC, XC, VuFind sekä Blacklight. Suomalaiset yleiset, akateemiset tai erikoiskirjastot eivät kuitenkaan ole halunneet alkaa ottamaan käyttöön mitään näistä, vaan ovat odottaneet perinteisten järjestelmäntoimittajiensa tarjoavan jotain tuotetta. Pääkaupunkiseudun järjestelmäntoimittaja Innovative onkin koonnut ns. ”kirjasto 2.0” -ominaisuuksia Encore -tuotteeseensa (jota ei ainakaan toistaiseksi ole hankittu HelMet-alueelle) ja Axiell on siis kehitellyt Arenaa omien kirjastojärjestelmiensä päälle.

CS Library, kuten suurin osa avoimen lähdekoodin ilmaisista, itseasennettavista discovery interfaceista väittävät olevansa alla kehräävästä kirjastojärjestelmästä (melko) riippumattomia. Harvat avoimen lähdekoodin ohjelmistoista kuitenkaan tukevat suomalaisissa yleisissä kirjastoissa käytettäviä kirjastojärjestelmiä, eli Origoa ja PallasProta (jotka olivat siis ATP:n ja Tiedon tuotteita ennenkuin Axiell osti molemmat). Tuen rakentaminen Origoa, PallasProta ja muita kirjastojärjestelmiä varten avoimen lähdekoodin ratkaisuihin ei kuitenkaan olisi suurikaan työ ja kerralla saataisi mukaan suurensuuri joukko suomalaisia yleisiä kirjastoja. Tämä olisi järkevää hoitaa keskitettynä ostopalveluna. Milleniumia sensijaan tukee suuri osa näistä ratkaisuista.

Asiaa monimutkaistaa sinänsä hyvä pyrkimys siihen, ettei kirjastojen mustasukkaisesti vartioiman bibliografisen metatiedon ympärille muodostuva lisätieto (esim. arvostelut, käyttötilastot jne) sirpaloituisi moneen paikkaan. Suomi on liian pieni käyttäjäkunta hajautumaan alueellisiin kirjasto 2.0-palveluihin, eikä maantieteellinen alue kuitenkaan ole internetissä kovinkaan relevanttia. Kuvitelkaa että jokaisella maailman kunnalla olisi oma Facebook yhden yhteisen Facebookin sijasta. Ei toimi. Kirjastoalalla puhutaan sensijaan yhden laarin mallista.

Kirjasampo pyrkii olemaan se laari. Lisäksi se mullistaa kaiken mistä kirjastojen metatietotyössä on kyse. Tässä vaiheessa on kuitenkin erittäin epäselvää miten Kirjasampo yhtyy kirjastojen verkkopalveluihin (terveisiä sinnepäin, että plsplspls miettikää jonkinlaiset liittymät Origoon, PallasProhon ja HelMetiin, osana pr-työtä kirjastoille. välivaiheena). Lisäksi Kirjasampo rajautuu kaunokirjallisuuteen joten tietokirjallisuuteen, musiikkiin ja kävelysauvoihin liittyvä metatieto on ratkaistava jotenkin muuten.

Vaarana on, että arvostelupalvelut keräävät tietoa suljettuihin siiloihin. Mielestäni siilot ja ”2.0” ovat keskenään tyystin epäyhteensopivat käsitteet. En tunne CS Libraryn tuotetta tarkasti, mutta ainakin mainostavat ohjelmointirajapintaansa (API) kovasti. Ehkä se ei ole siilo ja ehkä Axiell Arena ei ole siilo. Nykyiset HelMetin arvostelut muodostavat siilon ja marginalisoivat 4 miljoonaa suomalaista. Kirjastolaisille tuttuja yhteystyön muotoja ovat MARC, z39.50 ja kopioluettelointi. Teoksia kuvailevien MARC-tietueiden lisäksi kaikki muutkin kirjastojen tietotuotteet on rakennettava saman periaatteen, eli yhteiskäyttöisyyden ja verkostomaisuuden mukaisesti. Mutta tietenkin vielä paremmin kuin 25 vuotta sitten!

Oikean kirjastomaailman ulkopuolelta käyttäjäarvioita ja muita kirjasto 2.0 -ominaisuuksia löytyy esim. LibraryThingistä, Amazonista ja Google – tyylilleen uskollisensa – haravoi arvioita ja viitteitä verkosta koneellisesti Google Book Searchiin. Nämä kolme palvelua konseptoivat kirjastoa aivan eri lähtökohdista kuin perinteiset, institutionalisoidut kirjasto-organisaatiot (tai no, monet kirjastoinstituutiot ml. yleinen kirjastolaitos ovat oikeastaan aika lyhyt välivaihe kirjastojen historiassa). Amazonin ja Googlen kanssa ns. oikeiilla kirjastoilla ei ole oikeastaan minkäänlaista vuorovaikutussuhdetta, LT on onneksi aktiivinen toimija kirjastojen suuntaan.

Todella sekava kirjoitus, mutta sekava on kirjastojen verkkopalvelujen tilannekin. Tilannetta pyrkii valottamaan Kirjastojärjestelmät nyt! -raportti sekä Yleisten kirjastojen neuvoston verkkostrategia. Muutama selvä linjaus on olemassa (esim. mainittu yhden laarin malli) ja riittävästi teknisiä avaimia sekä kansainvälistä yhteistyökumppaneita (eli tanskalaisia) olisi tarjolla kuten Antti innostavasti kirjoittaa. Taustalla kuitenkin häämöttää toisaalta järjestelmätoimittajien tuotteet (Axiell Arena, CS Library) joilla kaikesta tästä murehtiminen voidaan ulkoistaa ja toisaalta Suuri Yhteisluettelo, Joka Tulee Ratkaisemaan Kaikki Ongelmat. Joten ehkä nyt ei kannata hätiköidä (lue: kannattaa olla tekemättä mitään, yhtikäs mitään). Ja toisaalta–yleisten kirjastojen keskuskirjaston (Helsingin kaupunginkirjasto) sekä sen seudullisten kumppanien (Espoo, Vantaa, Kauniainen) lähteminen oman laarin rakentamiseen on signaali muille noin 350:lle kirjastolle siitä halutaanko sittenkään hakeutua kohti yhteisiä verkkopalveluratkaisuja vai ei.

Aarg, tarvin poistokoulutusta!

Tänään kokoelmanhallinnallista aineiston poistamista tehdessäni turhauduin siinä määrin, että laadin tämän kirjelmän Helsingin kaupunginkirjaston kehittämisyksikölle:

Kaipailen jotain hyvää, mieluusti HelMetin laajuista koulutusta aineiston poistamisesta. Näkökulman soisi olevan ensin teoreettisempi, sitten katsottaisi hieman talon periaatteita ja strategioita ja lopulta katsottaisi Milleniumia ja muita järjestelmiä että mitä tietoa voi poistamisen tueksi saada.

Miltsissähän on (ainakin minun mielestäni) todella ankeasti saatavilla poistamispäätöstä tukevaa tietoa esimerkiksi niteen historiasta tai siitä ovatko niteet liikkuneet esim. varausten kautta vai onko asiakas poiminut ne hyllystä.

Googlen avulla voi yrittää arvailla että mitkä kirjoittajat ja teokset ovat alansa tai genrensä merkkiteoksia. Toisten teosten viiteluetteloita voi lueskella myös, mutta se on työlästä.

Minusta tuntuu, että erityisesti poistaminen on toiminto jota kirjastolaiset ainakin täällä Miltsin alueella (Millenium -järjestelmä on Suomessa käytässä vain HelMetissä, eli pääkaupunkiseudun kaupunginkirjastoissa) oikeastaan eivät voi suorittaa muuten kuin mutu -fiiliksen pohjalta. Jossain tätä kutsutaan ”hiljaiseksi tiedoksi”, ”ammattitaidoksi” tai ”harkinnaksi” mutta varaan itselleni oikeuden suhtautua moisiin nimityksiin kriittisesti.

Minusta julkishallinnon alaisen ammattilaisen pitää pystyä selvästi osoittamaan mihin tietolähteisiin hänen tekemänsä päätökset perustuvat, etenkin kun on kyse aineiston poistamisen kaltaisesta toimenpiteestä. Etenkin kun ollaan sentään kirjastolaisia!

HelMetin oma kirjavarasto toimii Pasilassa ja erillinen, koko kansallista kirjastoverkkoa palveleva ja tukeva Varastokirjasto sijaitsee Kuopiossa. Sinne voi lähettää jotain. Sitten on niinkutsutut nollalistat, eli listat niteistä jotka eivät ole liikkuneet edellisen vuoden aikana. Järjestelmästä selviää myös koska nide on viimeksi palautettu, koska sen tietue on luotu. Niteiden lainaus- ja uusintakertojen määrä näkyy myös mutta siinäpä ne tiedot sitten oikeastaan ovatkin. Ei esimerkiksi tietoa siitä miten jonkun kirjailijan tai johonkin asiasanoihin liittyvät teokset ovat liikkuneet viimeaikoina. Lainausmääräkin ilmoitetaan vain yhtenä lukuna tietueen luonnista nykyhetkeen asti, ei ole käytettävissä mitään tietoa siitä miten lainauskerrat ovat kertyneet esimerkiksi ajan funktiona tai minkätyyppiset käyttäjät ovat sitä lainanneet.

Olisi hienoa tietää miten poistamista oikeasti tehdään muissa kirjastoissa ja miten siihen liittyvää tietoa hallinnoidaan.