Avoin vastaukseni Googlelle suomalaisen bibliografisen kirjastodatan saatavuudesta

Google

Sähköpostissani oli Cycling for librariesista palatessa tälläinen viesti Googlelta

From: Google
To: Mace
Subject: VASKI feed?

Hei,

terveisiä Googlelta.

Olen Googlen kirjahakuprojektissa mukana, ja osa sitä on erilaisten kirjatietokantojen haaliminen. Huomasin VASKI-dumpin täällä http://data.kirjastot.fi/data.html mutta se on jo vuodelta 2010. Tiedätkö onko siitä mahdollisesti uudempaa versiota, vai olisiko peräti saatavilla säännöllinen dumppi?

Huomasin myös Helmet-datan, mutta sen CC-BY tekee siitä hieman hankalammin käytettävän

Lyhyet vastaukset kysymyksiin:

• valitettavasti ei
• pahoittelen, CC0 tiedetään kyllä sallivammaksi lisenssiksi

Kirjastojen bibliografinen metadatahan on hajaantunut sinne tänne, eikä ole mitään yhteistä laaria josta sitä voisi itselleen hankkia. Lähimpänä tällaista yhteisluetteloa lienee BTJ:n AllFons -palvelu ja suomenkielisen kirjallisuuden osalta kansallisbibliografia Fennica. Tulevaisuudessa ehkä sitten Melinda ja KDK, kunhan ne saadaan kasattua. Molemmat ovat sitoutuneet avoimeen dataan. Esimerkiksi Saksan kansalliskirjasto on kunnostautunut datansa saatavuuden osalta.

Googlen Knowledge Panel

Tässä vielä taustaa, tilannekatsaus sekä näkemyksiäni kirjastojen avoimeen (bibliografiseen) dataan:

Vaskin osalta tilanne on tällä hetkellä se, että alkuperäisen, itse kätilöimäni avoimena datana julkaisun jälkeen dumppia ei ole päivitetty ja avoin data ei ilmeisesti ole strategista toimintaa Vaskissa. En ole siellä enää töissä, joten parhaiten ja virallisesti asiaan osaa organisaation näkökulmasta vastata palvelujohtaja Ulla-Maija Maunu (sähköposti muotoa etunimi.sukunimi@turku.fi). Jos kirjastojen bibliografisesta datasta olisi uudempia versioita olemassa, ne olisivat tuolla http://data.kirjastot.fi/data.html:ssä, joka on kirjastojen yhteinen, simppeli ”datarepositorio”. Olen lähettänyt Vaskin datan myös Datahubiin.

Pääkaupunkiseutua ja joitain muita poikkeuksia lukuunottamatta muissakin Suomen yleisissä kirjastoissa data asustaa järjestelmäpalvelua tarjoavan Axiellin siipien suojissa. Kirjastot saavat omat datansa sieltä käyttöönsä Axiellin kirjastojärjestelmien kuten Auroran, PallasPron tai Origon kautta sekä niihin liittyvien web-liittymien kautta, sekä SRU-ohjelmointirajapinnalla johon pääsy tuppaa nyt Auroraan siirtymisen myötä olemaan rajoitettua. Pääsyn omaan raakaan dataansa kirjasto voi ostaa Axiellilta kuten marras-joulukuussa 2012 tekemässäni PIKI-tietokannan siivousmenetelmät -hankkeessa tehtiin (kts. projektinhallintatyökalun+työpäiväkirjan issue #3325). Axiellilta voi kysellä toimitushalukkuutta, -aikoja sekä -hintoja, ja katsoa lisäksi yllä mainitun PIKI-casen raportin talousosiota.

Axiellin Origo-järjestelmää käyttävät kirjastot ovat hyvässä asemassa, sillä ne voivat itse ottaa bibliografisen datansa ulos MARC-muodossa. Myös akateemisissa kirjastoissa, AMK:ien kirjastoissa sekä Kansalliskirjastolla on myös aika hyvät oltavat, koska ne pystyvät siirtelemään (ainakin bibliografista) dataansa ulos Voyager ja Aleph-järjestelmistään aika kitkattomasti.

Kansalliskirjaston liidaaman Kansallinen Digitaalinen Kirjasto -hankkeen on ollut tarkoitus saada datat liikkeelle kirjastojen omista järjestelmistä, ja se onkin edellytys koko KDK:n toiminnalle. Sama pätee EU:n Europeanaan. Lyhyesti sanoen sekä KDK että Europeana molemmat pyrkivät yhdistämään kirjastojen (sekä arkistojen ja museoiden) haut yhteen weppisivustoon. Syksyllä 2010 Turkuun lähtiessäni toivottiin OAI-PMH haravointirajapintaa yleisten kirjastojen bibliografisen datan siirtelyyn, mutta tietojeni mukaan tilanne on edelleen sama kuin Turusta lähtiessäni 2012 kesällä, eli Axiell ei valitettavasti ole saanut sitä vielä toimitettua. Kansalliskirjasto jo ostikin kaikille yleisille kirjastoille ja maksettua hintaa voi kysellä Kansalliskirjastolta tai Opetus- ja kulttuuriministeriöstä (KDK:n blogikirjoitus aiheesta ei valitettavasti ole enää saatavilla, valitettavaa ja hieman ironista sinänsä). Aihetta käsitellään Vaski-kirjastojen KDK-asiakasliittymän piloinnin loppuraportissa.

Tuo on siis tilanne käytännön datan liikuttelun kannalta. Helsingin alueella Helsinki Region Infoshare on kunniakkaasti edistänyt avoimen datan etenemistä, ja sen toiminta on nyt vakiintumassa osaksi Helsingin kaupungin Tietokeskusta. Siitä on tietenkin vielä paljon, paljon matkaa siihen, että virastojen, kuten Helsingin kaupunginkirjaston data oikeasti liikkuisi niin näppärästi kuin sen pitäisi. Helsingin kaupunginkirjastolla voinee jutella Jussi Vehviläisen ja Antti Pakarisen kanssa, HRI:llä Ville Melonin ja Tietokeskukselta löytynee joku myös.

Paljon puhuttujen immateriaalioikeuksien osalta tilanne on selvä, sillä kirjasto on itse tietokantansa sisällön ylläpitäjä (ei Axiell eikä sisällöntuottaja BTJ tai Kirjavälitys), ja näinollen myös immateriaalioikeuksien omistaja (Tekijänoikeuslaki 49 §). Lisäksi tekijänoikeuslaki takaa sille jolla on oikeus käyttää tietokantaa myös oikeuden tehdä siitä kappaleita (25 j § mom. 4), ja erikseen kumoaa lisenssiehdot jotka pyrkivät haittaamaan tätä (25 j § mom. 5). Lisäksi joku keskeinen oikeus päättyy 15 vuoden päästä tietokannan yleisölle saattamisen jälkeen (49 § mom. 2), mutta minulle on hieman epäselvää tarkalleen mikä.

Kollegiaalisia terveisiä sinne Googlelle lähettäen

Mace

Advertisement

Esitelmäni kirjaston bibliografisen datan laadusta sekä laadun arvioinnista ja valvonnasta (ym.)

Tein vuoden 2012 lopulla freelancerina parin kuukauden ajan erittäin hauskaa, opettavaa ja vaativaa ”kuutamokeikkaa” PIKI-kirjastoille bibliografisen datan parissa, ja ilmeisesti sen vuoksi olin kutsuttuna Kansalliskirjaston Kuvailun tiedotuspäivillä 20.-21.3.2013 puhumaan asiasta. Kansalliskirjaston Tarja Mäkisellä sekä minulla oli tunnin osuus otsikolla Näkökulmia laatuun. Itse juttelin luettelointityön ja luettelointidatan suhteesta tietojenkäsittelyyn, ohjelmointiin ja tietohallintoon, laatuajattelusta sekä kirjavista mahdollisuuksista joita meillä kirjastoilla olisi käytettävissämme, ja joiden parissa marras-joulukuussa estottomasti revittelin.

Tapahtuman molemmat päivät on taltioitu, oma osuuteni alkaa ensimmäisen päivän (20.3.) videotallenteen noin kohdasta 2:18:00 ja kestää 25 minuuttia plus keskustelua.

Jos haluat katsella pelkkää esitysgrafiikkaani tuolta tiedotuspäiviltä, se löytyy Prezistä. Aiempi blogipostauksessani maaliskuun 12. päivältä sisältää linkit laatimaani lähdekoodiin, myös työpäiväkirjana käyttämääni projektin- ja asianhallintajärjestelmään sekä myös tekstiksi kirjoittamaani raporttiin.

PIKI-kirjastojen tietokantapöyhintäni lähdekoodi, työpäiväkirja ja raportti julkistettu

BaseX:llä ja XQueryllä MARC21 -tietueiden kimpussa

Tein marras-joulukuussa freelancena töitä PIKI-kirjastoille tietokannan  siivouksen parissa. Pöyhin about 2 miljoonaa MARC21 -tietuetta kokonaan kirjastojärjestelmän (Axiell Aurora) ulkopuolella ja hauskaa oli. Lisäksi suunnittelin miten kirjastojärjestelmän ulkopuolella tehtyjä muutoksia voi tuoda tuotantotietokantaan ym. ym.

Projektin- ja asianhallintaan käytin Kirjastot.fi:n tarjoamaa Redmineä, ja käytin sitä myös työpäiväkirjanani. Avasin sen julkiseksi ja se on siis kaikkien nähtävissä. Tonkimiseen paras alku lienee lista kaikista issue-trackeriin merkityistä asioista. Kaikki kirjoittamani XQuery -kielinen lähdekoodi löytyy sensijaan GitHubista ja minua, sinua ja lähdekoodia suojaa GNU GPL-lisenssi. Työpäiväkirja ja lähdekoodi ovat mielestäni mielenkiintoisimmat dokumentit työstäni ja analyyseistä. Laadin myös raportin, joka löytyy Google Docsista, jossa sitä voi myös kommentoida.

(: Check all classification fields which claim to get their value from
YKL classification systems, see if they are really define there. Based
on my screenscraped YKL :)

declare namespace srw="http://www.loc.gov/zing/srw/";
declare namespace marc="http://www.loc.gov/MARC21/slim";

declare variable $yklres := fn:doc('ykl.xml');
declare variable $ykl := $yklres/ykl/class/@no/data();

<yklClasses>{
for $field in /records/record/srw:recordData/marc:record/marc:datafield[@tag="084"]
  let $classNo := $field/marc:subfield[@code="a"]/data()
  where $field[marc:subfield[@code="2"] = "ykl"]
  return <yklClass
    inYkl="{if ($classNo = $ykl) then 'true' else 'false'}">{
      $classNo
  }</yklClass>
}</yklClasses>

Esitelmöin ja toivottavasti myös demoan hommiani Kansalliskirjaston järkkäämillä sisällönkuvailun tiedostuspäivillä lounaan jälkeen keskiviikkona 20.3.2013 Helsingin yliopiston päärakennuksen pienessä juhlasalissa. Päivillä on muutakin mukavaa ja mielenkiintoista aihetta tarjolla. Tilaisuuteen voi osallistua etänä, ja webinaari ilmeisesti myös taltioidaan. Toivottavasti siellä tavataan.

Howto: FinMARC→MARC21 video

Tein 14 minuutin opetusvideon miten kirjaston aineistotietokanta muunnetaan FinMARC -formaatista MARC21:een.

Työkaluna Kansalliskirjaston ylläpitämä USEMARCON, jota Axiellkin ilmeisesti (=toivottavasti) käyttää.

Jos USEMARCON -konversiosääntöjä haluaa itse muokata, ne näyttävät tältä:

100I1           | 100I1           | If (I1=1 Or I1=2) Then '1' Else S
100I2           | 100I2           | ' '
100$a           | <E00$a          | S
100$h           | <E00$a          | + ', '+S; RegReplace('\\s*\\([^\\.]{2,} [^\\.]{2,}\\)\$', '')
100$f           | <E00$c          | S
100$c           | <E00$d          | S
100$x           | <E00$e          | S; RegReplace('^\\((.*)\\)\$', '\\1')
E00             | 100             | S;
                                    MoveBefore ('d', $e);
                                    MoveBefore ('c', $d);
                                    Replace ('$c' By ',$c');
                                    Replace ('$d' By ',$d');
                                    Replace ('$e' By ',$e');
                                    If (((RegFind('.*\\$(.)') < 0) Or (RegMatch(1) != '4')) And RegFind('\\.\$') < 0 And RegFind('\\-\$') < 0) S + '.'

Kaksi avoin data -sovellusta tällä viikolla: tuplakontrolli ja VuFind

Metadataa. Kirjastotyön apuprosessien ytimessä!

Turun ja naapurikuntien kunnankirjastojen Vaski-kirjastokimppa julkaisi aineistotietokantansa avoimena datana vähän aikaa sitten. Avoimen datan idea on, että hyödyllinen annetaan esteettä kaikkien käyttöön. Tällainen ajattelu sopii erinomaisesti kirjastoihin. Yksi hauska puoli avoimessa datassa on se, että data on silloin myös meidän itsemme käytössä. Tämä ei ole ollenkaan itsestäänselvää – normaalisti voimme itsekin käsitellä MARC-tietueitamme vain yhdellä työkalulla, nimittäin kirjastojärjestelmällämme. Vaskissa käytämme Axiellin PallasProta, jolla ei voi tehdä kaikkea. On tärkeää päästä dataan käsiksi monin eri tavoin, ja monien eri tahojen toimesta.

Tässä kaksi casea, joissa kuluneella viikolla hyödyin siitä, että minulla (kuten kakikilla maailman ihmisillä) on esteetön pääsy luettelointidataamme.

Case 1: tuplakontrollia

Duplikaattiongelma. Lulz

Täällä Vaskissa me valmistaudumme vaihtamaan PallasPron toiseen Axiell-tuotteeseen, Auroraan. Samassa tietokantaamme tulee mukaan lisää kirjastoja, ja siirrymme FinMARC -luettelointiformaattista MARC21:een. Anna valvoo ja suunnittelee sitä, yhdessä muiden luetteloijien ja Axiellin kanssa.

Vaski, kuten muutkin kirjastotietokannat ovat sangen sotkuisia monellakin tapaa. Esimerkiksi yhdestä teoksesta saattaa olla useita luettelointitietueita (ns. tuplia (tai tripliä (tai quadruplia (ad nauseaum)))). Ne ovat tietokannan käytön kannalta ärsyttäviä, ja niitä yritetään nyt siivoilla pois.

Tein Annalle tällaisen Perl-ohjelman, joka etsii tuplia ISBN-koodin perusteella (joka on tallennettu kenttään 021‡a):

#!/usr/bin/perl
# lists ISBN-codes which appear in more than one MARC record

use MARC::Batch;

my $file = "vaski-kunnostettu.mrc";
my $batch = MARC::Batch->new('USMARC', $file);

$batch->strict_off();
# First, let's create a magnificient hash or arrays, with ISBNs as keys, and
# lists of record ids as values
while ($record = $batch->next()) {
	for my $field ($record->field('021')) {
		my $isbn = $field->subfield('a');
		push(@{$recsperisbn{$isbn}}, $record->field('001')->data());
	}
	++$i;
}

# then let's see through the hash, and print all the ISBNs which appear in more
# than one record, and list all the records ids per ISBN too
while (my ($key, $value) = each(%recsperisbn)) {
	if (@$value > 1) {
		print($key, ": ");
		foreach $recid (values($value)) {
			print($recid,",");
		}
		print("\n");
	}
}

Tämä ohjelma käy järjestyksessä läpi kaikki tietueemme, ja muodostaa kaikista esiintyvistä ISBN-koodeista listan missä kaikissa tietueissa se esiintyy. Lopuksi se tulostaa kaikkien sellaisten tietueiden tunnisteen (kentästä 001), joiden ISBN esiintyy useammassa kuin yhdessä tietueessa. Näitä löytyi reilu 15 000. Anna arvioikoot, mitkä niistä voisi yhdistää keskenään. Yllä oleva Perl-ohjelma on rakennettu MARC::Record ja MARC::Batch -ohjelmointikirjastojen päälle, jotka ovat ilmaisia, standardin mukaisia ja avointa lähdekoodia.

Case 2: verkkokirjaston pystyttäminen

VuFind

Toinen tämänviikkoinen näpertelyn kohde on VuFind. Se on täysiverinen verkkokirjasto-ohjelmisto, verrattavissa esim. KDK-hankkeessa pilotoitavana olevaan ExLibriksen Primoon. Hakumoottorina VuFind käyttää Solria. Vain paras on kyllin hyvää! Sanomattakin selvää, että sekä VuFind että Solr ovat avointa lähdekoodia ja vapaasti käytettävissä.

Taustajärjestelminä VuFind voi suoraan käyttää Alephia, Voyageria, Innovativen Milleniumia, avoimen lähdekoodin eXtensible Catalogia, Kohaa ja Evergreeniä, OCLC PICAa ynnä muita. Kuten erittäin hyvin tiedämme, me suomalaiset yleiset kirjastot olemme marginalisoituneita kansainvälisistä kollegoistamme omine Axiell-järjestelminemme, mutta VuFindin ja Axiellin järjestelmien väliin voi kyllä rakentaa yhteyden. Tämä tapahtuu laatimalla ohjelma, jota VuFindissa kutsutaan ILS -ajuriksi. Toisessa päässä, eli Axiellin kirjastojärjestelmän päässä käytetään Axiell Web Services -rajapintaa, joka on useiden suomalaisten Axiellin tuotteita käyttävien kirjastojen käytettävissä.

Viikin kampuskirjaston eViikki -palvelu

Suomessa VuFind on käytössä ainakin Helsingin yliopiston Viikin kampuskirjastossa, jonka palvelu on nimeltään eViikki. Maailmalta löytyy paljon kirjastoja, jotka ovat valinneet VuFindin.

En perjantaina jaksanut alkaa säätämään virallisen tietohallinnon kanssa tai ehdottelemaan mitään toimiryhmien perustamista ja kerran kuukaudessa pidettäviä pullakahvikokouksia, joten laitoin omin nokkineni palvelimen pystyyn Amazonin EC2 -pilveen. Se oli asiaan jo ennalta tutustuneena oikeastaan pöyristyttävän helppoa ja siihen meni alle tunti. VuFindin olen aiemmin asentanut omalle läppärilleni, mutta nyt pystyttämääni palvelimeen indeksoin myös Vaskin bibliografisen datan ja katsoin järjestelmää muutenkin tarkemmin. Datamme on FinMARCia, mutta olen konvertoinut sen itse MARC21:ksi Kansalliskirjaston ylläpitämillä konvertointisäännöillä sekä USEMARCON-ohjelmalla (kiitos Ulla, Ere ym.). Näitä Axiellkin käyttää kun teetätämme heillä konvertointityötä.

Hyvältä ja selkeältä näyttää toi VuFind kyllä 🙂

Laadukas viikko takana 🙂

Turku ym. Vaski-kirjastot nyt avointa dataa

Kiitos kuvasta David Fulmer (dfulmer@flickr)

Moi, terveisiä Varsinais-Suomesta. Laitoimme tänään koko Vaski-kimppamme luettelointitietokannan sisällön sellaisenaan verkkoon.

Vaskin, eli Turun, Liedon, Maskun, Mynämäen, Naantalin, Nousiaisten, Raision, Ruskon ja Taivassalon kunnankirjastojen yhteisessä tietokannassa on noin 1.7 miljoonaa tietuetta ja niihin on vaihtelevalla tarkkuudella kuvailtu kaikki ne kirjat, lehdet, cd-levyt, DVD:t, nuottivihot, yksittäisiä musiikkikappaleita ynnä muita aineistoja, joita kirjastojen hyllyistä voit löytää. Juuri nämä bibliografiset tietueet ovat historiallisesti muodostaneet kirjastojen tiedonhaun keskeisimmän ytimen, ja haluamme tällä julkistuksella olla mukana kaikenlaisten tietovarantojen käytön esteitä vähentävässä avoin data -liikehdinnässä (engl. Open Data).

Tässä tiedoitteemme, joka lähti tänään lehdistölle sekä tietenkin myös Kirjastot.fi:hin:

Varsinais-Suomen kirjastojen data avoimeksi

30. syyskuuta 2011 10:00

Varsinaissuomalaiset Vaski-kirjastot ovat avanneet aineistotietokantansa sisällön julkiseen käyttöön. Aiemmin vain hakuliittymän kautta käytettävä tietokanta on nyt lisäksi ladattavissa verkosta kokonaisuudessaan, tietokoneella käsiteltävässä muodossa. Tämä mahdollistaa kokonaisuudelle paljon uudenlaisia käyttömahdollisuuksia. Vaski-tietokanta sisältää noin 1.7 miljoonan kirjan, levyn, musiikkikappaleen ynnä muiden teosten julkaisutiedot sekä kirjastoammattilaisten tekemät luokittelu- ja hakusanatiedot.

Open data, tai suomalaisittain avoin data on pyrkimys avata erilaisia tietolähteitä mahdollisimman vapaaseen käyttöön. Erityisesti julkisin varoin tuotettua ja ylläpidettyä dataa ollaan Suomessa avaamassa monilla eri tahoilla.

Kirjastot ovat merkittävä osa yhteiskunnan avointa ja yhdenvertaista tietoinfrastruktuuria. Niiden tietokannat sisältävät paljon huolellisesti koottua tietoa erilaisista kulttuurijulkaisuista ja luonnollisesti kirjastot haluavat edistää näiden tietojen monipuolista saatavuutta. Suomessa kirjaston aineistotietokantojen saatavuutta pyrkivät parantamaan kirjastojen yhteinen Kirjastot.fi Labs -hanke, sekä Kansallinen Digitaalinen Kirjasto, jonka rakentamiseen Vaski-kirjastot myös osallistuvat. Vaski-kirjastoihin kuuluu tällä hetkellä yhdeksän kaupungin- ja kunnankirjastoa (vuonna 2012 17), ja ne palvelvat noin 340 000 suomalaista.

Lisätietoja antavat Varsinais-Suomen maakuntakirjastona toimivan Turun kaupunginkirjaston projektisuunnittelija Mace Ojala (mace.ojala@turku.fi) ja palvelujohtaja Ulla-Maija Maunu (ulla-maija.maunu@turku.fi).

Vaski-kirjastojen tietokanta on avattu yhteistyössä sisältöä tuottavan BTJ:n kanssa.

Henkilökohtainen kiitokseni kollegoilleni täällä Vaski-kirjastoissa ja erityisesti pomoille ja luetteloijille, sekä BTJ:lle jolta suuri osa suomalaisten kirjastojen luettelointityöstä on ostettu ja joka on käytännössä meidän yhteisluettelomme. Terkut myös kansainväliselle open data -yhteisölle 🙂

Nyt avattu Vaski-kirjastojen data on ladattavissa isona läjänä sekä XML-muodossa että MARCille tyypillisessä ISO-2709 -siirtomuodossa osoitteesta http://data.kirjastot.fi. Lisenssinä on erittäin salliva Creative Commons CC0. Kirjastoalan yhteisestä bibliografisesta MARC-standardista on erilaisia versioita, olemme Suomessa vielä siirtymävaiheessa FinMARCista kansainväliseen MARC21:een. MARCista sekä sen eri formaateista löydät lisää tietoa Kansalliskirjaston sivuilta ja meillä on myös erityinen sähköpostilista MARC-asioille… joka on tosin nykyään erittäin hiljainen. Olen bloggaillutkin silloin tällöin MARCista.

Tämä Vaski-julkistus on siis FinMARCia, ja yksittäinen tietue näyttää esim. tällaiselta:

00791nam a22002533 450
001 Ppro853_148215
008 921022s1992 fi 8
021 $a 951-581-008-6 $c sid. $d 162 FIM
041 1 $a fin $c rus
057 $a 68
064 $a 68.22
065 $a 68.22
068 $a 68.22
098 $a 68.22
100 1 $a Ponomareva $h Julia
241 $a Gribnaja kuhnja
245 2 $a Vaskiratsastajan sienisalaatti $b 201 mainiota sieniohjetta $d [Julia Ponomareva & Aleksei Ponomarev] $e [toimittanut ja suomentanut Liisa Viitanen]
260 $a Helsinki $b Taifuuni $c 1992 $e [Pieksämäki] $f RT-paino
300 $a 231 s. $b kuv. $c 22 cm
652 $a keittokirjat
652 $a sieniruoat
700 10 $a Ponomarev $h Aleksei
745 $a 201 mainiota sieniohjetta
745 $a Vaskiratsastajan sienisalaatti

Tai vastaavasti XML:nä

<record>
<leader>00791nam a22002533  450 </leader>
<controlfield tag="001">Ppro853_148215</controlfield>
<controlfield tag="008">921022s1992    fi                      8</controlfield>
<datafield tag="021" ind1=" " ind2=" ">
<subfield code="a">951-581-008-6</subfield>
<subfield code="c">sid.</subfield>
<subfield code="d">162 FIM</subfield>
</datafield>
<datafield tag="041" ind1="1" ind2=" ">
<subfield code="a">fin</subfield>
<subfield code="c">rus</subfield>
</datafield>
<datafield tag="057" ind1=" " ind2=" ">
<subfield code="a">68</subfield>
</datafield>
<datafield tag="064" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="065" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="068" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="098" ind1=" " ind2=" ">
<subfield code="a">68.22</subfield>
</datafield>
<datafield tag="100" ind1="1" ind2=" ">
<subfield code="a">Ponomareva</subfield>
<subfield code="h">Julia</subfield>
</datafield>
<datafield tag="241" ind1=" " ind2=" ">
<subfield code="a">Gribnaja kuhnja</subfield>
</datafield>
<datafield tag="245" ind1="2" ind2=" ">
<subfield code="a">Vaskiratsastajan sienisalaatti</subfield>
<subfield code="b">201 mainiota sieniohjetta</subfield>
<subfield code="d">[Julia Ponomareva &amp; Aleksei Ponomarev]</subfield>
<subfield code="e">[toimittanut ja suomentanut Liisa Viitanen]</subfield>
</datafield>
<datafield tag="260" ind1=" " ind2=" ">
<subfield code="a">Helsinki</subfield>
<subfield code="b">Taifuuni</subfield>
<subfield code="c">1992</subfield>
<subfield code="e">[Pieksämäki]</subfield>
<subfield code="f">RT-paino</subfield>
</datafield>
<datafield tag="300" ind1=" " ind2=" ">
<subfield code="a">231 s.</subfield>
<subfield code="b">kuv.</subfield>
<subfield code="c">22 cm</subfield>
</datafield>
<datafield tag="652" ind1=" " ind2=" ">
<subfield code="a">keittokirjat</subfield>
</datafield>
<datafield tag="652" ind1=" " ind2=" ">
<subfield code="a">sieniruoat</subfield>
</datafield>
<datafield tag="700" ind1="1" ind2="0">
<subfield code="a">Ponomarev</subfield>
<subfield code="h">Aleksei</subfield>
</datafield>
<datafield tag="745" ind1=" " ind2=" ">
<subfield code="a">201 mainiota sieniohjetta</subfield>
</datafield>
<datafield tag="745" ind1=" " ind2=" ">
<subfield code="a">Vaskiratsastajan sienisalaatti</subfield>
</datafield>
</record>

Vaskin asiasanat, jotka eivät ole YSAssa

Sanaston pengontaa

Kävin läpi Vaski-kirjastojen aineistotietokannan ja etsin asiasanat, jotka eivät esiinny tesauruksessa. Ohessa lista yleisimmistä:

esiintymien lkm	termi
202	sotaromaanit
108	Lieto-kokoelma
100	korjausoppaat
66	eräkirjat
38	matkakirjat
29	sisustusoppaat
27	Suomen historia
23	kansanmusiikki: Venäjä
23	jouluaskartelu
22	posliinimaalaus
21	viihdetaiteilija : Suomi
21	salapoliisiromaanit
20	Yhdistyneet kansakunnat
20	kirjasto- ja informaatiopalveluala
20	1980-LUKU
18	vaateompelu
17	rock and roll
16	MURRENÄYTTEET
16	itämaiset taistelulajit
15	sosiaali- ja terveydenhuolto
15	rajavartiolaitos
15	paperiaskartelu
15	laivaluettelo
15	DVD-elokuvat
14	tiedeakatemiat
14	Suomen taideyhdistys
14	piirroselokuvat
13	tabulatuurinotaatiot
13	ranskalainen keittiö
13	nuorten aikuisten kirjat
13	Jeesus Kristus
13	äänentoistotekniikka
13	šamanismi
12	YKSINLAULU
12	vauvanhoito
12	Titanic
12	tilastollinen tutkimus
12	punk rock
12	kaupunkihistoriat
12	historia : 1900-luku
12	arabialainen musiikki
12	1960-luku
11	tšekin kieli
11	säveltäjät : Suomi
11	rentoutuminen
11	muodin historia
11	kuultokudos
10	varastaminen
10	Uusi testamentti
10	taitelijat
10	seminaarit (kokoukset)
10	samanismi
10	rockmusiikki
10	kiinalainen keittiö
10	1800-LUKU

Ohjelman (kts. alla) antamista tiedoista näkee myös, että esim. asiasana muodin historia (jota ei ole YSAssa) esiintyy Vaskin tietueissa Ppro853_137785, Ppro853_541141, Ppro853_541143, Ppro853_541144, Ppro853_541145, Ppro853_541146, Ppro853_541634, Ppro853_561083, Ppro853_561086, Ppro853_561087 sekä Ppro853_561088.

Eri asiasanoja joilla on vain yksi esiintymä Vaskissa löysin 1761 kappaletta. Kymmesti esiintyviä asiasanoja on kahdeksan kappaletta. Miten tällaista dataa olisi parasta havainnoillistaa? Ideoita vastaanotetaan.

Vaski on FinMARC 1998 -muotoa ja kyseisen standardin mukaan kentässä 652 olevat asiasanat ovat peräisin Yleisestä suomalaisesta asiasanastosta, eli YSA:sta (kansainvälisessä MARC21:ssä asia ilmaistaan hieman toisin, kuvaamalla asiasanakenttien osakentässä ‡2 mikä sanasto on kyseessä, tyyliin 650 #7 ‡a bibliografinen valvonta ‡2 ysa).

Tein aiemmin pienen työkalun jolle voi antaa yksittäisiä MARC-tietueita ja se kyselee ONKI-palvelun ohjelmointirajapintaa (APIa) käyttäen ovatko tietueen asiasanat YSO-ontologiassa. Kun YSA julkaisiin vastikään avoimena datana, tuli nyt tekemäni massakäsittely helpommaksi. Työn voi nykyään tehdä omalla koneella, pommittamatta ONKIn rajapintaa noin suurella kyselymäärällä.

Prosessi

Noukin ensin YSA:n SKOS-muotoisesta tiedostosta varsinaiset sanat (prefLabel ja altLabel) tekstitiedostoon yhdeksi pitkäksi, pitkäksi listaksi. 14.6.2011 lataamassani tesauruksessa oli 36991 termiä.

Sekä MARC-data että sanasto ovat saatavilla myös XML:nä, jonka käyttäminen olisi oikeaoppisempaa, mutta en nyt jaksanut säätää niiden kanssa sillä XML:n käsittelytyökalut ovat minulle aika tuntemattomia. Sensijaan olen tottunut operoimaan unixin komentoriviltä ja opettelen myös Perliä.

Tässä kirjoittamani Perl-kielinen ohjelma jota käytin:

#!/usr/bin/perl

use MARC::Batch;

my $file = "vaski-kunnostettu.mrc";
my $batch = MARC::Batch->new('USMARC', $file);
my $sanasto = "~/ysa.lista.alt_too";

$batch->strict_off();
while (my $record = $batch->next()) {
        for my $termi ($record->subfield('652', 'a')) {
        if (system("grep -q -i \"$termi\" $sanasto")) {
            print($termi, ";", $record->field('001')->as_string,"\n");
        }
    }
}

Kuten ehkä huomaat, tämä on hyvin kaukana elegantista. Ensinnäkin käsiteltävät tiedostot on nimetty ohjelman sisällä ja toisekseen kukin termi etsitään sanastosta käyttäen ulkoista ohjelmaa. Tämä aiheuttaa yhden forkin per asiasana, joka on huono asia. Oikeasti vertailu pitäisi tehdä tämän ohjelman sisällä, lukemalla asiasanat tiedostosta yksiulotteiseen taulokkoon tai listaan. Mutta toimii tämä näinkin, kun huonoa ohjelmistosuunnittelua voi korvata prosessoriteholla 🙂 Miniläppärini (joka on ainoa käyttämäni työväline) rouskutteli tätä useita tunteja.

Mutta tämän ei olekaan tarkoitus olla eleganttia. Tämän on tarkoitus osoittaa kirjastoammattilaisille, että me itse voimme ottaa aloitteen käsimme sen sijaan, että odottelemme että järjestelmätoimittajamme tekee kivoja asioita puolestamme (sitä on turha odotella).

Vielä pari huomiota laatimani menetelmän puutteista: se ei huomioi asiasanaketjuja, ja tuon kaltainen huoleton merkkijonojen etsintä johtaa vääriin tuloksiin mikäli etsittävä epäkelpo asiasana esiintyy osana kelpoa asiasanaa. Tälle asialle pitäisi todella tehdä jotain.

Mitä välii?

Ymmärtääkseni kaikkien 652-kentässä olevien termien pitäisi olla peräisin YSA:sta. Näin sanoo myös FinMARC -formaatti. Asiasanoja joita ei YSAssa ole, ei pitäisi käyttää ainakaan kyseisessä kentässä. Kuten tiedämme, ei asiasanasto kuvaa kaikkia maailman ilmiöitä. Siksi paikallisille sanastoille onkin tarvetta.

Minua paremmin luettelointiin perehtyneet tietänevät mitä sisällönkuvailussa oikeasti kuvaillaan. Jossain lienee sovittu, onko sisällön lisäksi aiheellista kuvailla muotoa. Esim. Vaskissa käytetään termejä ”Nintendo Wii”, ”sotaromaanit” ja ”elämäkerrat” kuvailemaan muotoa. Nämä teokset eivät kerro Nintendon Wii-peleistä, sotaa kuvaavista romaaneista tai elämäkertojen kirjoittamisesta, vaan ovat niitä. Ehkä tämä on ookoo – en jaksa nyt lueskella luettelointisäännöstöä asiaa tarkistaakseni enkä muista ulkoa mitä siellä sanotaan. Mutta ei ole vaikea nähdä että tämä on problemaattista. Ihmettelin samaa asiaa aiemmin, kun mietin minkähänlaista olisi “ihan oikea kirjastotyö” pelien parissa?

Mainiot luetteloijat ovat arvatenkin tämän muoto vs. sisältö -asian ratkaisseet jollain sopimuksella (joka siis lienee kirjattuna luettelointisääntöihin). Käytännössä ainakin Vaskissa kuvaillaan surutta sekä muotoa että sisältöä 652 -kentässä.

Tässä on muitakin mielenkiintoisia puolia: MARC-tietueessa ei esimerkiksi ole mitään tietoa siitä, mitä YSAssa on ollut tietueen luontihetkellä. YSA muuttuu ajan myötä, kenties osa nyt listaamistani termeistä on ollut kyseisen luetteloijan käyttämässä YSA:n versiossa luettelointihetkellä… MARC-tietueesta itsestään puuttuu tällainen tekninen metadata.

Kirjoitusvirhe luetteloinnissa on fataali virhe, ja teos katoaa kyseisen aiheen kannalta mustaan aukkoon. Varsinaisia kirjoitusvirheitä löysin Vaskista onneksi vain ihan muutaman.

Monet löytämäni, YSA:n ulkopuoliset termit ovat hyvin käytännöllisiä ja olen oikeasti onnellinen että niitä on tietueisiin luettelointisääntöjen vastaisesti tallennettu. Tämä kertoo sanaston puutteellisuudesta ja myös luokitusjärjestelmän puutteista, sekä kirjastoihmisten omatoimisista ongelmanratkaisupyrkimyksistä. Se on tietenkin aivan oikein. Nämä itse keksityt termit voisi eristää omaan sanastoonsa, jolla YSAa täydennetään, ellei ole YSAn tarkoituksenmukainen ylläpito ole mahdollista. Lisäksi meillä on käytettävissämme useampia sanastoja YSAn rinnalla ja niitä olisikin hyvä käyttää MARC-tietueen sellaisissa paikoissa, jotka eivät ole YSAlle varattuja.

Tiesitkö tämän MARCista: salainen kolmas indikaattori

Salainen kolmas indikaattori

Harva tietää, että MARC -luettelointiformaattissa kullakin kentällä on todellisudessa kolme indikaattoripaikka. Tyypillisesti kirjastoammattilaisille, jopa luettelointia päätyönään tekevillekin kerrotaan vain ensimmäisestä kahdesta indikaattorista. Vain harvat saavat koskaan kuulla kolmannesta indikaattorista.

Oletko huomannut, että kentän numerokoodin ja indikaattoreiden jälkeen on miltei poikkeuksetta tyhjä sarake? Se on todellisuudessa se paikka, jonne piilotettu kolmas indikaattori on tallennettu.

Kolmas indikaattori, jonka käyttö kuvataan erillisessä, aiemmin vain todella harvojen luettelointiammattilaisten käsiin annettavassa dokumentissa. Usein tieto kolmannesta indikaattorista onkin kulkenut suullisena perimätietona, niinsanottuna hiljaisena tietona. Tämän salaperäisen indikaattorin käyttö vaihtelee eri kentissä eikä ole varmaa missä kentissä se edes on määritelty, mutta yleensä sitä käytetään kuvailemaan luetteloijan sieluntilaa luettelointihetkellä: arvo 0 tarkoittaa että luetteloija kyseistä kenttää täyttäessään oli nälkäinen, 1 että hän oli hyvin, hyvin väsynyt, 2 että hän oli päihtynyt ja arvo 3 että hän pilaili.

Kiinteämittaisissa kentissä ja nimiössähän ei indikaattoreitä käytetä, mutta hatarien ja vahvistamattomien tietojeni mukaan niihin saattaa olla piilotettuna dataa luettelointiformaatin, siis MARCin itsensä kehittäjien mahdollisista sieluntiloista.

Kenttä 245, kenen keksintö?

MARC -standardit

Kenenhän idea tää MARCin kenttä 245 on (kts. formaatin lisäksi mm. monografioiden kuvailusäännöt (PDF), osio 1. Nimeke- ja vastullisuusalue)? Viimeksi tänään KDK:n Primo -koulutuksessa hämmästeltiin tätä ihmeellistä kenttää. Mahtaako tätä blogia seurata joku, joka osaisi hieman valottaa koska tämä kenttä keksittiin, miksi ja mitä ongelmia sen oli tarkoitus ratkaista sekä miten 245 on aikojen saatossa kehittynyt?

Olis kiva kuulla tästä, laittakaahan kommenttia tuohon alle jos 245 herättää muistoja tai tunteita.

HelMet-tietue b1915995 (xrecord)

245 10 Bibliografinen valvonta :|bjohdatus luetteloinnin ja
       sisällönkuvailun menetelmiin /|cVesa Suominen, Jarmo
       Saarti, Pirjo Tuomi

HelMet-tietue b1752703 (xrecord)

245 10 Suomalaiset luettelointisäännöt. Monografioiden kuvailu /
       [Kansallinen luetteloinnin ohjausryhmä]; [julkaisija:]
       Helsingin yliopiston kirjasto

HelMet-tietue b1380128 (xrecord)

245 10 Tutkielma hallitusvallasta :|btutkimus poliittisen vallan
       oikeasta alkuperästä,laajuudesta ja tarkoituksesta /|cJohn
       Locke ; suomennos ja esipuhe Mikko Yrjönsuuri

HelMet-tietue b1551077 (xrecord)

245 10 Taru sormusten herrasta. 2 : Kaksi tornia / [suom. Kersti
       Juva ja Eila Pennanen ; runot suom. Panu Pekkanen] /|cJ.
       R. R. Tolkien

Duck and cover

Kopioluettelointi on ehkä hajoamassa

Eräs muunnostyökalu bibliografisten tietueiden käsittelyyn :^)

Tuli tuossa sattumalta esiin, että kirjastojen välinen kopioluettelointi (aka. poiminta) nähtävästi menee ainakin vähän rikki seuraavaksi pariksi vuodeksi. En vielä tässä vaiheessa tiedä asiasta tarpeeksi (kuten ensimmäisen virkkeen epämääräisyys antaa jo ymmärtää) ja tästä on ehkä jossain keskusteltu jo, mutta otanpa asian kuitenkin varmuuden vuoksi esiin.

Saattaa olla ehkä syytä kiinnittää huomiota siihen, että kun yleiset kirjastot pikkuhiljaa vaihtavat Axiellin PallasProsta ja Origosta Auroraan ja kun samalla vaihtuu myös metadataformaatti FinMARCista MARC21:een, eriytyy Suomi kahteen kopioluetteloinnin maailmaan, jotka ovat keskenään erilaisia formaatin eroista johtuen.

En tiedä onko tämä ongelma, MARC mikä MARC, ja kopioluetteloidessa jokatapauksessa kopsattavia tietueita muokataan paikallisesti. MARC21:stä (Auroroista) vanhempiin PallasProihin ja Origoihin kopsailu (ja toisinpäin) tullee kuitenkin muuttumaan työläämmäksi, kunnes kaikilla lopulta on MARC21. Voi toki olla, että Aurorassa itsessään on jo olemassa mahdollisuus pyytää tietueita muissakin muodoissa kuin MARC21:nä, se olisi hienoa.

Tässä olisi vielä aikaa toimia ja kenties ideoida joku keskitetty helpotuskeino. FinMARC↔MARC21 -muunnoshan onnistuu koneellisesti Kansalliskirjaston USEMARCON -ohjelmalle laatimilla muuntosäännöillä. En tiedä olisiko mitään järkeä rakennella jotenkin keskitetysti härveli, joka tekisi muunnoksen automaattisesti poiminnan yhteydessä? Index-Datan YAZ Proxyä voisi ehkä käyttää, tai rakennella YAZ-kirjastojen päälle oman gatewayn joka esim. USERMARCONia käyttäen murjoisi kopioitavat tietueet läpi Kansalliskirjaston muuntosäännöstöstä.

Oliskohan tollaiselle tarvetta? Yhteisluettelo sitten aikanaan poistaa tällaiset haasteet lopullisesti. Jos tämä nyt osoittautuu merkittävästi työllistäväksi asiaksi, niin positiivisena asiana nähtäkööt se, että se jouduttaa yhteisluettelon rakentamista.

Asia tuli esiin, kun eräästä toisesta maakuntakirjastosta oltiin yhteydessä minuun, kun sekä Pirkanmaan PIKI:stä että meiltä Varsinais-Suomen Vaskista kopioluetteloiunti oli lakannut toimimasta. Syy on ilmeisesti kuitenkin eri kuin yllä kuvasin.

⋮
// ***245+248 ALKAA TÄSTÄ***
245I1           | = 0) Then RegMatch(1) Else S;
                                    RegReplaceTable('pieni-isoksi-merkkijonon-alussa.tbl');
                                    If (%000/7/ = 'p' And RegFind('[Aa]rkisto') < 0) 'Arkistoaineisto';
                                    '[' + S + ']'
245$b           | 1', Strict);
                                    If (NextSub($a, '=1') = 'a') ReplaceOcc ('$a' By ' ;$b', '=2', Strict);
                                    ReplaceOcc ('$a' By ' ; ', '>1', Strict);
                                    If (NextSub($a, '=1') != 'a' And Not ExistsIn(S, $b)) ReplaceOcc ('$r' By ' =$b', '=1', Strict);
                                    Replace ('$r' By ' = ', Strict);
                                    Replace ('$t' By '. ', Strict);
                                    ReplaceOcc ('$c' By ' / ', '>1', Strict); Replace ('$c' By ' /$c', Strict);
                                    If (ExistsIn(S, $c)) Replace ('$d' By ' / ', Strict); ReplaceOcc ('$d' By ' / ', '>1', Strict); Replace ('$d' By ' /$c', Strict);
                                    Replace ('$e' By ' ; ', Strict);

                                    If (PreviousSub($n, '=1') = 'h' Or PreviousSub($p, '=1') = 'h') MoveBefore('np', $h, 'np', '', '', ' :| /| ;|.| =');

                                    If ($c Precedes $p And PreviousSub($p, '=1') = 'n') ReplaceOcc ('$p' By ', ', '=1', Strict);
                                    If ($c Precedes $p And PreviousSub($p, '=1') != 'n') ReplaceOcc ('$p' By '. ', '=1', Strict);

                                    If ($c Precedes $p And PreviousSub($p, '=2') = 'n') ReplaceOcc ('$p' By ', ', '=2', Strict);
                                    If ($c Precedes $p And PreviousSub($p, '=2') != 'n') ReplaceOcc ('$p' By '. ', '=2', Strict);

                                    If ($c Precedes $n) Replace ('$n' By '. ', Strict) Else Replace ('$n' By '.$n')
// Info: Käsitellään 248
248$g           | 1', Strict) Else ReplaceOcc ('$D' By ' / ', '>1', Strict);
                                    RegReplace ('($D.*)$B', '\\1 : ', 'g');
                                    RegReplace ('($D.*)$R', '\\1 = ', 'g');
                                    RegReplace ('($D.*)$C', '\\1. ', 'g');
                                    If (Exists(@245$d) Or Exists(@248$d)) Then
                                    {
                                      while (RegFind ('$D.*$E') >= 0)
                                      {
                                        RegReplace ('($D.*)$E', '\\1 ; ', 'g');
                                      };
                                    }
                                    Else
                                    {
                                      while (RegFind ('$D.*$E') >= 0)
                                      {
                                        RegReplace ('($D.*)$E', '\\1 / ', 'g');
                                      };
                                    }

                                    // Info: Jos $n/$p on ennen $b:tä tai $b:tä ei ole, siirretään $n/$p $a:n perään
                                    If (RegFind('$b.*$[np]') < 0) MoveAfter('np', $a, 'np', '', '', ' : | / | ; |. | = ');

                                    // Info: G:n (n) ja H:n (p) vlimerkit
                                    Replace ('$G' By '.$G', Strict);

                                    // Info: Siirretään g ja h oikeille paikoille
                                    If (PreviousSub(@245$n, '>=1') != 'c' And PreviousSub(@245$p, '>=1') != 'c' And ExistsIn(S, $c)) MoveBefore('GH', $c, 'np', '', '', ' :| /| ;|.| =', 'BR');
                                    If ((Not ExistsIn(S, $n)) And (Not ExistsIn(S, $p)) And (Not ExistsIn(S, $b))) MoveAfter('GH', $a, 'np', '', '', ' :| /| ;|.| =', 'BR');
                                    Replace ('$G' By '$n');
                                    Replace ('$H' By '$p');

                                    If (ExistsIn(S, $c))
                                    {
                                      If (Exists(@245$d)) Then Replace ('$D' By ' ; ', Strict) Else Replace ('$D' By ' / ', Strict);
                                    }
                                    Else Replace ('$D' By ' /$c', Strict);

                                    If (Not ExistsIn(S, $b)) ReplaceOcc ('$B' By ' :$b', '=1', Strict);
                                    If (Not ExistsIn(S, $b)) ReplaceOcc ('$R' By ' :$b', '=1', Strict);
                                    Replace ('$B' By ' : ', Strict);
                                    Replace ('$R' By ' = ', Strict);
                                    Replace ('$C' By '. ', Strict);

                                    If (ExistsIn(S, $b)) MoveBefore('h', $b, 'h', '', '', ' :| /| ;|.| =') Else If (ExistsIn(S, $c)) MoveBefore('h', $c, 'h', '', '', ' :| /| ;|.| =');

                                    For (OCC From 1 To 3) While (PreviousSubIn(S, $n, '=OCC') = 'c' Or PreviousSubIn(S, $p, '=OCC') = 'c') {
                                      If (PreviousSubIn(S, $p, '=OCC') = 'c') {
                                        If (RegFind(S, '$c.*\\.$') < 0) ReplaceOcc('$p' By '. ', '=OCC', Strict) Else ReplaceOcc('$p' By ' ', '=OCC', Strict);
                                      }
                                      Else ReplaceOcc('$p' By ', ', '=OCC', Strict);
                                      If (RegFind(S, '$c.*\\.$') < 0) ReplaceOcc('$n' By '. ', '=OCC', Strict) Else ReplaceOcc('$n' By ' ', '=OCC', Strict);
                                    };

                                    RegReplaceTable('pieni-isoksi-osakentan-alussa.tbl')

Z48             | 245             | If (RegFind(D, '\\.\$') < 0) D + S Else D;
                                    Pvalimerkitys();
// ***245+248 PÄÄTTYY TÄHÄN***
⋮

Voihan tämän tehdä käsinkin, mutta voisi olla kiva että tietokone tekisi nämä luetteloijan puolesta.

Photos of Cycling for libraries -inspection online

 

Dream a large group of librarians in this picture 🙂

 

 

Stadtbibliothek 100m that way

 

Me and Jukka Pennanen are now in Berlin, designing and preparing the Cycling for libraries -event next summer. We rode a rental car from Copenhagen to Berlin via Nykøbing-Falster, Rostock loads of Danish and German countryside to get a general idea what we are facing here. This has proven to be really good idea, not only is it very useful to get some first hand experience of the journey and meet local colleagues, but also these places are absolutely, absolutely stunningly beautiful!!

My camera and photographic eye does no justice, but i’ve put some photos online for you to see and also for ourselves to remember. Please do enjoy! There’s about 120 photos at the time, and from my photostream you’ll find more photos which are not necessarily so related to this event. I’ve split the photos into a few sets, and will add proper metadata later. And catalog the photos into MARC21 too maybe xD not

Jukka has a much better camera and also a video camera and that material is coming online later. And there’s a plenty of it. But take it from me: Danish and German countryside is fascinating and totally inspiring, there’s plenty of restaurants and cafés everywhere for tasty food and the bicycling route is very good too. And it is needless to say that both Copenhagen and Berlin are awesome places to ride bikes in (especially in good company).

Special thanks to all the fantastic people we have met this far and who have shown their support and taken good care of us: Sonia, Mikkel, Michel, Jan, Robert, Beate, Thoralf and everyone else. You know who you are!

Suomen EuropeanaLocal live

Ekat EuropeanaLocalin kautta toimitetut suomalaisaineistot on nyt näkyvillä Euroopan digitaalisessa kirjastossa Europeanassa. Kyseiset aineistot on pienen pieni määrä (50 kpl) teoksia Helsinki-kokoelmasta, jotka digitoitutettiin Kansalliskirjaston digitointikeskuksessa. Käy tarkastelemassa miltä ne näyttävät Europeanassa (kansikuvia lataaminen Europeanaan on tätä kirjoittaessa vielä meneillään).

Europeana

Vaikka olen kirjoittanut (tilittänyt?) aiheesta aiemminkin, niin vielä jankattakoot, että EuropeanaLocal on eräs Europeanan lukuisista satelliittiprojekteista, jotka keräävät aineistoa tähän Yhteen Suureen Digitaaliseen Kirjastoon. Mukana ovat kaikki EU:n jäsenmaat, Suomesta EuropeanaLocalia edustaa Helsingin kaupunki, käytännössä kaupunginkirjasto. Vielä vuoden verran, kesään 2011 asti jatkuvassa hankkeessa rakennetaan keinot, joilla muistiorganisaatiot eli kirjastot, arkistot ja museot voivat toimittaa aineistojaan Europeanaan. Lisätietoa EuropeanaLocalin omilta sivuilta ja KirjastoWikistä.

Juhlaruno Helsingin suomalaisen tyttökoulun rakennuksen vihkiäisissä 27.09.1844

Helsingin kaupunginkirjasto on tässä vaiheessa siis toimittanut nuo muutamat Helsinki-kokoelman teokset ikäänkuin pesämunaksi ja samalla todistetaan että homma toimii. Katso esimerkiksi Juhlaruno Helsingin suomalaisen tyttökoulun rakennuksen vihkiäisissä 27.09.1844 (sama teos HelMetissä).

Muuta EuropeanaLocalin kautta toimitettua aineistoa on niinikään vaatimaton joukko aiemmin digitoitua musiikkia. Se ei tosin ole edes alueellisesti tai seudullisesti merkittävää, vaan mukana siksi, että Helsingin kaupunginkirjastolla olisi edes jotain annettavaa. Tarkoitus oli saada myös Rikhardinkadun kirjastossa sijaitsevan RikArt -taiteilijakirjakokoelma, mutta niiden toimitus on toistaiseksi viivästynyt RikArtin sivustopäivityksen vuoksi. Uskon että mukaan saadaan saadaan ajan mittaan muutakin aineistoa (ehkä Sinun aineistojasi 😉

Europeanaan kulkee aineistoja monia muitakin reittejä pitkin kuin EuropeanaLocalia, esim. Kansalliskirjasto on vienyt suuren määrän vanhoja sanomalehtiä. Tulevaisuudessa tämän kaltainen toiminta tapahtunee pitkälti Kansallisen Digitaalisen Kirjaston KDK:n siipien suojissa.

EuropeanaLocal etsiikin paraikaa sopivia aineistoja maailmalle vietäväksi. Tämän satelliittihankkeen fokuksena ovat siis muistiorganisaatioiden paikallisesti- tai seudullisesti arvokkaat, digitoidut tai syntyjään digitaaliset kulttuuriperintöaineistot. 13.09.2010 järjestämme Helsingissä tapahtuman, jossa asiasta voidaan tarkemmin keskustella ja sopia jatkosta. Luonnollisesti sitä ennenkin ovat yhteydenotot erittäin tervetulleita. Yhteystiedot löytyvät KirjastoWikistä.

Briefly in english (skipping the fundamentals of EuropeanaLocal)

The first materials to make it to the European digital library Europeana via our national EuropeanaLocal -process are finally live. The first items are 50 digitized publications of the Helsinki-collection, quite a typical local collection of Helsinki city library. We have also submitted a small amount of digitized classical music to Europeana, but they’re not really within the scope of EuropeanaLocal. Submitting of a collection of artists’ books called RikArt has unfortunately been postponed for now. We are holding our national meeting on 13.9.2010, and hope to get more contributions then.

HelMet ja Open Data

HelMet

Labs.kirjastot.fi

HelMet -kirjastot (eli Helsingin, Espoon, Vantaan ja Kauniaisen kaupunginkirjastot) tekivät kansallisen Labs.kirjastot.fi -hankkeen johdolla pelinavauksen kirjastojen avoimeen bibliografiseen dataan kesäkuun alussa. Tiedoitteen julkaisi Labs 07.06.2010 ja asia huomioitiin välittömästi mm. Tietoviikossa ja Suomen kirjastoseuran uutisissa. Lisäksi siitä kirjoitti Julkinen data–johdatus tietovarantojen avaamiseen -oppaan (Liikenne- ja viestintäministeriö, 2010, ISBN 978-952-243-145-5, verkkojulkaisu ISBN 978-952-243-146-2) laatija Antti Poikola blogissaan sekä Tampereen kaupunginkirjaston ansioitunut verkkokirjoittelija Petri Tonteri Sorvipenkki-blogissaan.

Asiasta tiedotettiin myös kirjastoalan yhteisellä, Kirjastot.fi:n piirissä toimivalla Verkko-foorumilla ja siellä keskustelu lähtikin nopeasti käyntiin. Hurraa -huutoja kuultiin muutama, mutta purematta eivät ainakaan kaikki kirjastolaiset tällaista niele. Heikki Poroilan tekijänoikeuksiin liittyvän huomion jälkeen (siitä lisää alla), kritiikkiä kohdistettiin julkaisun sanavalintoja kohtaan koska vain Helsingin kaupunginkirjasto ja Labs mainittiin tiedotteessa sekä sitä seuranneessa uutisoinnissa. Espoo, Vantaa ja Kauniainen ilmeisesti kokivat jääneensä huomiossa paitsioon, ainakin joidenkin niissä toimivien ammattilaisten mielestä. Opetus: kuntayhteistyö on herkkää. Sinänsä olen onnellinen että ”kapitalistien persettä nuolevaa innovaatiohuuhaata!!” -nurina ilmeni vasta ”meidät pitää mainita myös!!” -nurinan jälkeen.

Kirjastoalan keskustelua seuratessa on muuten hyvä muistaa keskustelujen erittäin huono edustavuus; tuolla Verkko-foorumilla tätä käsittelevään keskusteluun on osallistunut alle 10 ihmistä, Suomessa on 10 000 kirjastoammattilaista, joista puolet yleisissä kirjastoissa ja HelMet-kirjastoissa meitä on jotain viitisen sataa. Päättäjiä on monesti turha toivoa näissä keskusteluissa tapaavansa, edes virastojen omia päättäjiä. Toivottavasti kuitenkin ovat edes lukeneet verkossa käytävää keskustelua. ELY-keskuksista sentään kuuluu toisinaan. Haluaisin kuitenkin tässä julkisesti ilmaista kiitokseni ja kunnianosoitukseni kaikille niille, jotka ovat tähän keskusteluun osallistuneet. Ilman teitä maailma olisi paha paikka. You know who you are! ❤

Projektinhallintaa tyyliin Labs.kirjastot.fi

No niin seuraava, mielestäni merkittävä tapaukseen liittyvä kritiikki käsitteli asiasta päättämistä. Keskustelua ei kuulemma ole ollut. Tämä tietenkin riippuu kenen kanssa yleensäkin on tekemisissä, mutta asiaa puitiin korkeimmassa päättävässä elimessä eli HelMet-johtoryhmässä asiantuntijoiden avulla käsittääkseni noin vuosi ja alan tapahtumissa pidempään. Labsin piirissä tätä on käsitelty joka viikko. Lisäksi Kirjastolehdessä on ollut aiheesta Seppo Verhon artikkeli Kirjastotieto vapaaksi? joka kertoo ymmärrettävästi missä hommassa on kyse. Tietenkin kirjastoalaa yleisemmällä tasolla asiaa on käsitelty vaikka kuinka paljon sekä Suomessa että ulkomailla. Juu, asiaa ei ole puitu ollenkaan niin paljon kuin joitain muita alan puheenaiheita, mutta ei Labs tätä nyt ihan hatustaan ole vetäissyt koko hanketta.

Esiin nousivat luonnollisesti myös tekijänoikeudet. Itse asiassa useampaan kertaan kuin yhdesti. Yksi asia on se, muodostuuko luetteloivalle taholle tekijänoikeuksia bibliografisia metatietoja tuottaessa. Katso pohjalle Kirjastot.fi:n Tekijänoikeudet-foorumin keskustelut Luettelointitietojen tekijänoikeudet huhtikuulta 2009 sekä Kirjastotiedon tekijänoikeudesta joulukuulta 2009 (joka viittaa tuohon yllä mainitsemaani Sepon Kirjastotieto vapaaksi? -artikkeliin).

Vaikka kirjasto onkin julkaisujen metadatan paras ja erinomaisin hallitsija ja käsittelijä, niin käytännössä suuri osa luettelointidatasta oikeasti tehdään muualla kuin kirjastoissa. Suomessa yleiset kirjastot ostavat luettelointitietueita BTJ:ltä, entiseltä Suomen kirjastoseurasta irrotetulta Kirjastopalvelulta. Ulkomaisilta kollegoilta jos kysyy luetteloinnista, nousevat kulmakarvat helposti: ”luetteloida? Miksi me luetteloisimme itse? Mehän olemme kirjastoammattilaisia!”  Katso tästä aiheesta Judy Lutherin NISOlle ja OCLC:lle laatima white paper Streamlining Book Metadata Workflow (1.5MB PDF). BTJ erittäin tärkeän luettelointipanoksen lisäksi kirjastot vaihtavat luettelointietoja myös keskenään, erityisen tärkeä kansallinen tietokanta on yliopistokirjastojen yhteinen Linda. Tekijänoikeuksiin liittyy paljon epävarmuutta ja kykenemättömyyttä hankkia tietoa päätöksenteon tueksi. Niin tai näin, yleinen kanta on ettei yksittäisiä, määrämuotoista luettelointitietueita voida käsittää teokseksi; sitä ei tämän tulkinnan mukaan siis suojaa tekijänoikeus, kuten se ei suojaa ponia, juoksemista tai kausaatiotakaan.

(välihuomio: onkohan sattumaa että kun kuuntelen Behemothia ja googlaan ”tekijänoikeus”, saan tasan 666 000 osumaa 😉

Sen sijaan kokonaisuus ajatellaan olevan suojattu Tekijänoikeuslain tietokantapykälän 49§ mukaan ja sen oikeudet kuuluvat työnantajalle (Tekijänoikeuslaki 40§ 3. mometti). Toissapäivänä 23.06.2010 BTJ julkaisi tätä asiaa huomattavasti valottavan tiedoitteen BTJ mukaan HelMetin avoimen datan hankkeeseen. En vielä tiedä mitä tästä pitäisi oikeastaan ajatella, mutta BTJ:n kanssa on sovittu puolen vuoden karenssiaika avoimelle julkaisulle. Tällä BTJ voi suojata omaa markkina-asemaansa ja toisaalta pysytellä mukana kirjastoalaakin ravistelevassa vapaus- ja avoimuusliikehdinnässä.

Kolmas toistaiseksi esiin noussut ja relevanttina pitämäni kritiikki Open Dataa ja HelMetin datan avauspyrkimystä kohtaan koskee kirjaston monopolia tämän metadatan tarjoajana yhteiskunnalle. Todellisuudessa uskon että BTJ voi oikein mielellään myydä luettelointitietueita muillekin toimijoille kuin kirjastoille. Lisäksi HelMet-tietokannan voi kyllä lupaa kysymättä kopioida itselleen joko osittain tai kokonaisuudessaan ilman että kirjasto erityisesti tarjoaa sitä ladattavaksi. Voin näyttää miten se tapahtuu tai katso esimerkki niin tekemisestä postauksessani Analyysi Helsingin kaupunginkirjaston aihepakettien ajallisesta kattavuudesta.

Julkinen data–Opas tietovarantojen avaamiseen

En tässä nyt halua käydä toistelemaan yleisiä Open Data -argumentteja julkishallinnon palvelutuotannon roolista nimenomaan mahdollistajana, datalukutaidon opettamisesta, siitä että datan arvo lisääntyy käytössä eikä vähene, innovaatiopolitiikasta tai kysymystä ovatko kirjaston asiakkaita vain yksityishenkilöt vai koko yhteiskuntaa tai siitä onko kirjasto itse oikeasti kykenevä kehittämään datan käsittelyä vai voisiko tuolla ulkona olla joku, jolla voisi olla jotain ideoita, taitoja tai muita resursseja joita meillä ei itsellämme ole, järjestelmätoimittajien monopolista julkishallinnon toimintojen kehittäjinä. Näitä argumentteja löydät Julkinen data -oppaasta (toivon että tämä kirjastolaisten käymä keskustelu on hyödyllistä myös muille avointa dataa harkitseville toimijoille ja että muut voivat oppia tästä jotain). Jätän myös sekä GATS-sopimuksen että egalitaristisen liberalistisen yhteiskuntafilosofian pois tästä kirjoituksesta. Myöskään sitä, tarvitseeko yleisen kirjaston ylipäätään olla linjassa demokraattisen poliittisen järjestelmän kanssa ei käsitellä tässä postauksessa.

Neljänneksi, huoli tietokannan eheydestä ja kontrollista on myös noussut esiin, mutta uskon että niiltä osin kyseessä on lähinnä väärinkäsitys. Ei ilmeisesti ole  riittävän selvästi ilmaistu kirjastolaisille, että datan avaaminen tuottaa kopioita HelMet-tietokannasta, eivätkä niihin tehdyt muutokset heijastu takaisin kirjaston omaan tietokantaan tai HelMet.fi -palveluun. Kirjastoilla on näillä näkymin itseasiassa erittäin rajalliset mahdollisuudet hyötyä muiden toimijoiden tekemistä muutoksista kyseiseen tietokantaan, valitettavasti

Tässä esimerkki kirjastojen käyttämästä MARC-muotoisesta luettelointitietueesta:

LEADER 00000nam  2200000   4500
001    9517680422
005    20021115040347.0
008    990215s1999    xx                  fin
020    951-768-042-2 (sid.)
041 1  fin|h(eng)
080    32
080    1
084    11.3
100 1  Hobbes, Thomas
245 10 Leviathan, eli, Kirkollisen ja valtiollisen yhteiskunnan
       aines, muoto ja valta /|cThomas Hobbes ; suomentanut Tuomo
       Aho
260    Tampere :|bVastapaino, |c1999
300    592 s. :|bkuv. ;|c22 cm
546    suomi
574    T.Karppanen|b9902HELAIK
575    |b9905espaik
577    |b0005vanaik
588    321
589    11.3
590    11.3
599    KIRJA / BOK
650  4 yhteiskuntafilosofia
650  4 valtiofilosofia
650  4 valta
650  4 kirkko
700 1  Aho, Tuomo.
740 0  Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja
       valta
765 0  |tLeviathan or the matter, forme and power of a
       commonwealth ecclesiasticall and civill, 1651
913 00 HOBLEKJ99000

Nyt julkaistussa HelMet-tietokannan -dumpissa tietueet ovat MARCin XML-muodossa (MARCXML) ja äskeinen näyttää tältä:

<record>
    <leader>01070nam 2200361 4500</leader>
    <controlfield tag="001">9517680422</controlfield>
    <controlfield tag="005">20021115040347.0</controlfield>
    <controlfield tag="008">990215s1999 xx fin </controlfield>
    <datafield tag="020" ind1=" " ind2=" ">
        <subfield code="a">951-768-042-2 (sid.)</subfield>
    </datafield>
    <datafield tag="035" ind1=" " ind2=" ">
        <subfield code="a">(FI-HELMET)b1297761</subfield>
    </datafield>
    <datafield tag="041" ind1="1" ind2=" ">
        <subfield code="a">fin</subfield>
        <subfield code="h">(eng)</subfield>
    </datafield>
    <datafield tag="080" ind1=" " ind2=" ">
        <subfield code="a">32</subfield>
    </datafield>
    <datafield tag="080" ind1=" " ind2=" ">
         <subfield code="a">1</subfield>
    </datafield>
    <datafield tag="084" ind1=" " ind2=" ">
         <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="100" ind1="1" ind2=" ">
        <subfield code="a">Hobbes, Thomas</subfield>
    </datafield>
    <datafield tag="245" ind1="1" ind2="0">
        <subfield code="a">Leviathan, eli, Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja valta /</subfield>
        <subfield code="c">Thomas Hobbes ; suomentanut Tuomo Aho</subfield>
    </datafield>
    <datafield tag="260" ind1=" " ind2=" ">
        <subfield code="a">Tampere :</subfield>
        <subfield code="b">Vastapaino, </subfield>
        <subfield code="c">1999</subfield>
    </datafield>
    <datafield tag="300" ind1=" " ind2=" ">
        <subfield code="a">592 s. :</subfield>
        <subfield code="b">kuv. ;</subfield>
        <subfield code="c">22 cm</subfield>
    </datafield>
    <datafield tag="546" ind1=" " ind2=" ">
        <subfield code="a">suomi</subfield>
    </datafield>
    <datafield tag="574" ind1=" " ind2=" ">
        <subfield code="a">T.Karppanen</subfield>
        <subfield code="b">9902HELAIK</subfield>
    </datafield>
    <datafield tag="575" ind1=" " ind2=" ">
        <subfield code="b">9905espaik</subfield>
    </datafield>
    <datafield tag="577" ind1=" " ind2=" ">
        <subfield code="b">0005vanaik</subfield>
    </datafield>
    <datafield tag="588" ind1=" " ind2=" ">
        <subfield code="a">321</subfield>
    </datafield>
    <datafield tag="589" ind1=" " ind2=" ">
        <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="590" ind1=" " ind2=" ">
        <subfield code="a">11.3</subfield>
    </datafield>
    <datafield tag="599" ind1=" " ind2=" ">
        <subfield code="a">KIRJA / BOK</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">yhteiskuntafilosofia</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">valtiofilosofia</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">valta</subfield>
    </datafield>
    <datafield tag="650" ind1=" " ind2="4">
        <subfield code="a">kirkko</subfield>
    </datafield>
    <datafield tag="700" ind1="1" ind2=" ">
        <subfield code="a">Aho, Tuomo.</subfield>
    </datafield>
    <datafield tag="740" ind1="0" ind2=" ">
        <subfield code="a">Kirkollisen ja valtiollisen yhteiskunnan aines, muoto ja valta</subfield>
    </datafield>
    <datafield tag="765" ind1="0" ind2=" ">
        <subfield code="t">Leviathan or the matter, forme and power of a commonwealth ecclesiasticall and civill, 1651</subfield>
    </datafield>
    <datafield tag="913" ind1="0" ind2="0">
        <subfield code="a">HOBLEKJ99000</subfield>
    </datafield>
</record>

MARC on ilmaisuvoimainen, muttei todellakaan kovin nykyaikainen datamuoto. Ongelma on muun muassa se, ettei se ilman käytössä ollutta luettelointisäännöstä todella sitoudu muuhun maailmaan. Esim. se, että ylläolevassa tietueessa on asiasanat (kentissä 650‡a) yhteiskuntafilosofia, valtiofilosofia, valta sekä kirkko ei auta yhtään, ellei tiedossa ole sitä, mitä asiasanastoa tai ontologiaa käytetään, missä se sijaitsee ja miten sitä käytetään. Lisäksi tekijänä on mukamas Hobbes, Thomas mutta tämä ei ole viittaus henkilöön, vaan tietokoneen kannalta täysin merkityksetön merkkijono. Toisinaan toistellaan mantraa ”context is king”. Kirjastodataa käsitellessä se on syytä esittää muodossa ”context is lost”.

Linked Open Data (CC, Richard Cyganiak+Anja Jentzsch)

MARCia ja MARCXML:ää voidaan kuitenkin koneellisesti leipoa, tavoitteena vaikkapa Open Linded Data tai tilastoanalyysi kirjaston tarjoamasta aineistosta. Tiedän että parillakin eri taholla on paraikaa pyrkimyksiä HelMetin datan muokkaamiseen juuri tähän suuntaan. Tätä ja avointa kirjastodataa yleensäkin käsiteltiin ELAG 2010-konferenssissa Helsingissä samaan aikaan kun HelMetin avaaminen tapahtui. HelMetissä käytössä oleva Innovative Millenium kirjastojärjestelmä ei todellakaan mahdollista mitään tällaista, mutta tiedon irroittaminen kirjastojärjestelmästä avaa aivan erilaiset mahdollisuudet käsitellä dataa halutulla tavalla.

Hyvältä näyttää, eli jatketaan! Kirjastot.fi:n Labs sekä HelMet avasivat pelin. Seuraavaksi haastan Kansalliskirjaston ylläpitämän kansallisbibliografian Fennican mukaan Open Data -liikkeeseen.

Ei olla pilkunnussijoita ei

Kävin eilen Maailman musiikin keskuksessa juttelemassa kirjastoa ylläpitävien henkilöiden kanssa kaikenlaisesta kirjastoihin liittyvästä ja liittymättömästä, josta kiitos Heikille ja Anu-Pauliinalle. Keräilen tietoja avoimen lähdekoodin ohjelmistojen käytöstä kirjastoissa ja GMC:llä on kirjastojärjestelmänä Koha. Palaan asiaan, tämä ei ole tämän postauksen aihe. Aihe sensijaan on se, että tuolta kirjaston työaseman vierestä löytyi tällainen muistilappu:

"Loppupisteet MARC21-formaatin kentissä"

Toivoisin ettei tällaiset löydöt kerro mitään kirjastolaisista tai siitä tietoympäristöstä jonka he ovat itselleen luoneet ja jossa he toimivat. Pelkään pahoin että toiveeni on turhaa 😉

Anu-PauliinaAnPauliinalle)