Avoin vastaukseni Googlelle suomalaisen bibliografisen kirjastodatan saatavuudesta

Google

Sähköpostissani oli Cycling for librariesista palatessa tälläinen viesti Googlelta

From: Google
To: Mace
Subject: VASKI feed?

Hei,

terveisiä Googlelta.

Olen Googlen kirjahakuprojektissa mukana, ja osa sitä on erilaisten kirjatietokantojen haaliminen. Huomasin VASKI-dumpin täällä http://data.kirjastot.fi/data.html mutta se on jo vuodelta 2010. Tiedätkö onko siitä mahdollisesti uudempaa versiota, vai olisiko peräti saatavilla säännöllinen dumppi?

Huomasin myös Helmet-datan, mutta sen CC-BY tekee siitä hieman hankalammin käytettävän

Lyhyet vastaukset kysymyksiin:

• valitettavasti ei
• pahoittelen, CC0 tiedetään kyllä sallivammaksi lisenssiksi

Kirjastojen bibliografinen metadatahan on hajaantunut sinne tänne, eikä ole mitään yhteistä laaria josta sitä voisi itselleen hankkia. Lähimpänä tällaista yhteisluetteloa lienee BTJ:n AllFons -palvelu ja suomenkielisen kirjallisuuden osalta kansallisbibliografia Fennica. Tulevaisuudessa ehkä sitten Melinda ja KDK, kunhan ne saadaan kasattua. Molemmat ovat sitoutuneet avoimeen dataan. Esimerkiksi Saksan kansalliskirjasto on kunnostautunut datansa saatavuuden osalta.

Googlen Knowledge Panel

Tässä vielä taustaa, tilannekatsaus sekä näkemyksiäni kirjastojen avoimeen (bibliografiseen) dataan:

Vaskin osalta tilanne on tällä hetkellä se, että alkuperäisen, itse kätilöimäni avoimena datana julkaisun jälkeen dumppia ei ole päivitetty ja avoin data ei ilmeisesti ole strategista toimintaa Vaskissa. En ole siellä enää töissä, joten parhaiten ja virallisesti asiaan osaa organisaation näkökulmasta vastata palvelujohtaja Ulla-Maija Maunu (sähköposti muotoa etunimi.sukunimi@turku.fi). Jos kirjastojen bibliografisesta datasta olisi uudempia versioita olemassa, ne olisivat tuolla http://data.kirjastot.fi/data.html:ssä, joka on kirjastojen yhteinen, simppeli ”datarepositorio”. Olen lähettänyt Vaskin datan myös Datahubiin.

Pääkaupunkiseutua ja joitain muita poikkeuksia lukuunottamatta muissakin Suomen yleisissä kirjastoissa data asustaa järjestelmäpalvelua tarjoavan Axiellin siipien suojissa. Kirjastot saavat omat datansa sieltä käyttöönsä Axiellin kirjastojärjestelmien kuten Auroran, PallasPron tai Origon kautta sekä niihin liittyvien web-liittymien kautta, sekä SRU-ohjelmointirajapinnalla johon pääsy tuppaa nyt Auroraan siirtymisen myötä olemaan rajoitettua. Pääsyn omaan raakaan dataansa kirjasto voi ostaa Axiellilta kuten marras-joulukuussa 2012 tekemässäni PIKI-tietokannan siivousmenetelmät -hankkeessa tehtiin (kts. projektinhallintatyökalun+työpäiväkirjan issue #3325). Axiellilta voi kysellä toimitushalukkuutta, -aikoja sekä -hintoja, ja katsoa lisäksi yllä mainitun PIKI-casen raportin talousosiota.

Axiellin Origo-järjestelmää käyttävät kirjastot ovat hyvässä asemassa, sillä ne voivat itse ottaa bibliografisen datansa ulos MARC-muodossa. Myös akateemisissa kirjastoissa, AMK:ien kirjastoissa sekä Kansalliskirjastolla on myös aika hyvät oltavat, koska ne pystyvät siirtelemään (ainakin bibliografista) dataansa ulos Voyager ja Aleph-järjestelmistään aika kitkattomasti.

Kansalliskirjaston liidaaman Kansallinen Digitaalinen Kirjasto -hankkeen on ollut tarkoitus saada datat liikkeelle kirjastojen omista järjestelmistä, ja se onkin edellytys koko KDK:n toiminnalle. Sama pätee EU:n Europeanaan. Lyhyesti sanoen sekä KDK että Europeana molemmat pyrkivät yhdistämään kirjastojen (sekä arkistojen ja museoiden) haut yhteen weppisivustoon. Syksyllä 2010 Turkuun lähtiessäni toivottiin OAI-PMH haravointirajapintaa yleisten kirjastojen bibliografisen datan siirtelyyn, mutta tietojeni mukaan tilanne on edelleen sama kuin Turusta lähtiessäni 2012 kesällä, eli Axiell ei valitettavasti ole saanut sitä vielä toimitettua. Kansalliskirjasto jo ostikin kaikille yleisille kirjastoille ja maksettua hintaa voi kysellä Kansalliskirjastolta tai Opetus- ja kulttuuriministeriöstä (KDK:n blogikirjoitus aiheesta ei valitettavasti ole enää saatavilla, valitettavaa ja hieman ironista sinänsä). Aihetta käsitellään Vaski-kirjastojen KDK-asiakasliittymän piloinnin loppuraportissa.

Tuo on siis tilanne käytännön datan liikuttelun kannalta. Helsingin alueella Helsinki Region Infoshare on kunniakkaasti edistänyt avoimen datan etenemistä, ja sen toiminta on nyt vakiintumassa osaksi Helsingin kaupungin Tietokeskusta. Siitä on tietenkin vielä paljon, paljon matkaa siihen, että virastojen, kuten Helsingin kaupunginkirjaston data oikeasti liikkuisi niin näppärästi kuin sen pitäisi. Helsingin kaupunginkirjastolla voinee jutella Jussi Vehviläisen ja Antti Pakarisen kanssa, HRI:llä Ville Melonin ja Tietokeskukselta löytynee joku myös.

Paljon puhuttujen immateriaalioikeuksien osalta tilanne on selvä, sillä kirjasto on itse tietokantansa sisällön ylläpitäjä (ei Axiell eikä sisällöntuottaja BTJ tai Kirjavälitys), ja näinollen myös immateriaalioikeuksien omistaja (Tekijänoikeuslaki 49 §). Lisäksi tekijänoikeuslaki takaa sille jolla on oikeus käyttää tietokantaa myös oikeuden tehdä siitä kappaleita (25 j § mom. 4), ja erikseen kumoaa lisenssiehdot jotka pyrkivät haittaamaan tätä (25 j § mom. 5). Lisäksi joku keskeinen oikeus päättyy 15 vuoden päästä tietokannan yleisölle saattamisen jälkeen (49 § mom. 2), mutta minulle on hieman epäselvää tarkalleen mikä.

Kollegiaalisia terveisiä sinne Googlelle lähettäen

Mace

Advertisement

Esittelyssä kirjastojen avoin rajapinta SRU

Asiaan liittymätön, mutta naurusta kangistunut kissa

Julkaisempa tämän SRU:ta käsittelevän jutun luonnos-kansiostani, kun SRU on tullut puheeksi viime aikoina useampaan kertaan.

Kirjastoilla on pitkät perinteet aineistoluetteloidensa ohjelmointirajapinnoissa. Vaikka alallemme on hakeutunut sangen niukalti tietokone- ja ohjelmointiosaamista, ja vaikka ilmeisen harvat näitä asioita aktiivisesti ajattelevat, eräs asia mistä puhutaan paljon ovat ohjelmointirajapinnat. Nämä tulevat esiin KDK:n, Auroran, Arenan, CS Library ym. kaltaisissa hankkeissa, joissa nimenomaan avoimet ohjelmointirajapinnat ovat keskeisiä jotta eri järjestelmät voivat keskustella keskenään.

Kenties olisi itua kerätä yhteen paikkaan, kenties data.kirjastot.fi:hin tietoa käytössä ja saatavilla olevista rajapinnoista, erityisesti sellaisista joihin on nyt heti tänään pääsy sekä meillä kirjastoihmisillä itsellämme, että myös muilla organisaatioilla, kansalaisilla ja toimijoilla. Näitä tietojahan on esim. Nelli-portaalin myötä kerätty Kansalliskirjastolle.

Search/Retrieval via URL

Eräs yleinen ja tutustumisen arvoinen kirjastomaailman ohjelmointirajapinta on Search and retrieve via URL (SRU). Kyseessä on standardi, ja tavallaan nykyaikainen versio Z39.50:stä (aka ”Z” aka. ”Zing”) jota olemme kauan käyttäneet ns. kopio- eli poimintaluettelointiin. Kuten nimi sanookin, on kyseessä rajapinta tiedonhakuun. Z, SRW ja SRU ovat kaikki oikeasti eri asioita, mutta nimiä kuulee käytettävän ristiin. Z39.50:n juuret ylettävät kauas, kauas aikaan ennen WWW:tä (kuka muistaa WAIS -tiedonhakujärjestelmän?), SRU on tuoreempaa perua.

SRU:ta käytettäessä hakulausekkeet kuvaillaan Contextual Query Language (CQL) -kielellä. SRU:ta varten on toki olemassa valmiita ohjelmointikirjastoja esimerkiksi Perliin. Kun katsot alla olevia esimerkkejä, tuon query parametrin kaverina on CQL:llä kuvailtuja yksinkertaisia hakulausekkeita. CQL on kyllä sangen ilmaisuvoimainen, ja palvelimesta sitten lopulta riippuu miten se lausekkeita tulkitsee.

Kansalliskirjaston NelliWiki kertoo SRUsta ihan kattavasti.

PallasPro -järjestelmien SRU -rajapinnat vaikuttavat olevan verkkokirjastojen /Zing? -osoitteissa, ja mahdollisesti perustuvat Index Datan tekemiin komponentteihin, jotka sinänsä ovat avointa lähdekoodia ja vapaasti netistä ladattavissa ja käyttöön otettavissa. SRU-palvelimen pystyyn säätäminen ja ylläpito ei taida olla erityisen hauskaa, mutta se on mahdollista.

Varsinais-Suomen yleisten kirjastojen kirjastokonsortion Vaskin SRU-rajapinta palveli aiemmin osoitteessa http://borzoi.kirja.turku.fi/Zing?, mutta on poistunut käytöstä Auroraan siirtymisen myötä. Vaskin nykyinen SRU-rajapinta taitaa olla palomuurin takana. Lapin osoite on http://intro.rovaniemi.fi:8001/Zing? ja Ratamo -kirjastojen http://ratamo.kirjas.to:8005/Zing?.Mitäs muita on, miten nuo Axiellilla hostatut palvelut menevät (esim. http://outi.kirjas.to/). Nämä osoitteet eivät taida olla missään mainostettuja, vaan olen deduktiivisesti päätellyt ne itse, eikä niiden käyttöä näytä olevan mitenkään erityisesti estetty. Joissain kirjastoissa, esim. Vaskissa ja PIKIssä on SRU-rajapintoihin pääsy kokonaan palomuurilla estetty. Kansalliskirjaston palveluista on tietoa täällä ja USA:n Kongressin kirjaston http://z3950.loc.gov:7090/voyager?.

Löpinät sikseen, näin haet 10 kissoja tai koiria käsittelevää teosta Lapista:

http://intro.rovaniemi.fi:8001/Zing?operation=searchRetrieve&query=dc.subject=kissa%20or%20dc.subject=koira

Vastaus näyttää sitten tällaiselta

<?xml version="1.0" encoding="UTF-8"?>
<SRW:searchRetrieveResponse xmlns:srw_dc="info:srw/schema/1/dc-v1.1" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:cld="http://www.ukoln.ac.uk/metadata/rslp/schema/" xmlns:DIAG="http://www.loc.gov/zing/srw/diagnostic/" xmlns:mods="http://www.loc.gov/mods" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dcmitype="http://purl.org/dc/dcmitype/" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:SRW="http://www.loc.gov/zing/srw/" xmlns:zng="urn:z3950:zng_prototype1" xmlns:rec="info:srw/schema/2/rec-1.0">
 <SRW:version>1.1</SRW:version>
 <SRW:numberOfRecords>2382</SRW:numberOfRecords>
  <SRW:records>
 <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Joiku 2007 2 : Lapin nuuskut ry:n jäsentiedote</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>noutajat</dc:subject>
<dc:description>4 kertaa vuodessa</dc:description>
<dc:publisher>Lapin nuuskut ry</dc:publisher>
<dc:date>2007</dc:date>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>1</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10067478</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Burda 2005/10</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>kaavat</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>2</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050294</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2005/4</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>3</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050187</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2005/2</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>neuleet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>4</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050185</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2003/10</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>5</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10036034</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2001/11-12</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>neuleet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>6</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10021521</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Lappalaiskoirat : iloisesti läsnä / [teksti Sanna Karppinen] ; [kuvat Lappalaiskoirat ry]</dc:title>
<dc:creator>Karppinen, Sanna</dc:creator>
<dc:creator>Lappalaiskoirat</dc:creator>
<dc:subject>koira</dc:subject>
<dc:subject>suomenlapinkoira</dc:subject>
<dc:subject>lapinporokoira</dc:subject>
<dc:subject>ruotsinlapinkoira</dc:subject>
<dc:subject>porokoirat</dc:subject>
<dc:subject>lappalaiskoirat</dc:subject>
<dc:subject>historia</dc:subject>
<dc:subject>harrastukset</dc:subject>
<dc:subject>paimenkoirat</dc:subject>
<dc:subject>paimennus</dc:subject>
<dc:publisher>Kirjakaari</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-952-5969-06-1</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>7</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541666</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Ketterä kisu / [Sarah Phillips ; suunnittelu: Mark Richards ; suomennos: Anu Karvinen]</dc:title>
<dc:creator>Phillips, Sarah</dc:creator>
<dc:creator>Richards, Mark</dc:creator>
<dc:creator>Karvinen, Anu</dc:creator>
<dc:subject>lastenkirjallisuus</dc:subject>
<dc:subject>kuvakirjat</dc:subject>
<dc:subject>koskettelukirjat</dc:subject>
<dc:subject>paksulehtiset kirjat</dc:subject>
<dc:subject>etsintä</dc:subject>
<dc:subject>kissa</dc:subject>
<dc:subject>eläimet</dc:subject>
<dc:description>Tunnustelukirja</dc:description>
<dc:description>BTJ, T121015, BTJ Kirjo 2012 : 17a, 20121015, 7,25EUR, 9%, 22, 2,47, ACF-, 021, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=PRES&key=4525480053575466, Kuvaus, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=IMAGE&key=4525480053575466, Kansikuva</dc:description>
<dc:publisher>Kirjalito</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-951-28-5523-0</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>8</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541515</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Leikkisät pennut / [Sarah Phillips ; suunnittelu: Mark Richards ; suomennos: Anu Karvinen]</dc:title>
<dc:creator>Phillips, Sarah</dc:creator>
<dc:creator>Richards, Mark</dc:creator>
<dc:creator>Karvinen, Anu</dc:creator>
<dc:subject>lastenkirjallisuus</dc:subject>
<dc:subject>kuvakirjat</dc:subject>
<dc:subject>koskettelukirjat</dc:subject>
<dc:subject>paksulehtiset kirjat</dc:subject>
<dc:subject>etsintä</dc:subject>
<dc:subject>ystävät</dc:subject>
<dc:subject>leikki</dc:subject>
<dc:subject>koira</dc:subject>
<dc:subject>pennut</dc:subject>
<dc:description>Tunnustelukirja</dc:description>
<dc:description>BTJ, T121015, BTJ Kirjo 2012 : 17a, 20121015, 7,25EUR, 9%, 22, 2,47, ACF-, 021, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=PRES&key=2226144582534108, Kuvaus, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=IMAGE&key=2226144582534108, Kansikuva</dc:description>
<dc:publisher>Kirjalito</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-951-28-5522-3</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>9</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541505</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Jakt med älghund : från valp till älghund / Rolf Westerberg ; [illustrationer: Rolf Svensson ; foto: Anna-Sara Persson]</dc:title>
<dc:creator>Westerberg, Rolf</dc:creator>
<dc:subject>metsästys</dc:subject>
<dc:subject>hirvi</dc:subject>
<dc:subject>koira</dc:subject>
<dc:subject>metsästys</dc:subject>
<dc:subject>hirvikoirat</dc:subject>
<dc:subject>jämtlanninpystykorva</dc:subject>
<dc:subject>harmaa norjanhirvikoira</dc:subject>
<dc:subject>valkoinen ruotsinhirvikoira</dc:subject>
<dc:subject>musta norjanhirvikoira</dc:subject>
<dc:subject>karjalankarhukoira</dc:subject>
<dc:subject>laika</dc:subject>
<dc:subject>jakt</dc:subject>
<dc:subject>älg</dc:subject>
<dc:subject>hund</dc:subject>
<dc:subject>jakt</dc:subject>
<dc:subject>älghund</dc:subject>
<dc:subject>jämthund</dc:subject>
<dc:subject>norsk älghund, grå</dc:subject>
<dc:subject>svensk vit älghund</dc:subject>
<dc:subject>norsk älghund, svart</dc:subject>
<dc:subject>karelsk björnhund</dc:subject>
<dc:subject>lajka</dc:subject>
<dc:subject>hälleforshund</dc:subject>
<dc:publisher>Settern</dc:publisher>
<dc:date>2011</dc:date>
<dc:identifier>978-91-7586-634-5</dc:identifier>
<dc:language>swe</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>10</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541413</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  </SRW:records>
 <SRW:echoedSearchRetrieveRequest>
  <SRW:version>1.1</SRW:version>
  <SRW:query>dc.subject=kissa or dc.subject=koira</SRW:query>
  <SRW:startRecord>1</SRW:startRecord>
  <SRW:maximumRecords>10</SRW:maximumRecords>
  <SRW:recordPacking>xml</SRW:recordPacking>
  <SRW:recordSchema>dc</SRW:recordSchema>
 </SRW:echoedSearchRetrieveRequest>
</SRW:searchRetrieveResponse>

Siis ihan mukavaa XML:ää jolla voi tehdä kaikkea hauskaa. Eli ei muuta kuin parsimaan!! Jos tykkää ylläolevan Dublin Coren sijasta enemmän MARCista (kröhöm), voi vastauksen pyytää MARCXML:nä antamalle SRU-kutsulle parametrin recordSchema=marcxml, näin:

http://intro.rovaniemi.fi:8001/Zing?operation=searchRetrieve&recordSchema=marcxml&query=dc.subject=kissa or dc.subject=koira

SRU:n explain -operaatiolla voi kysyä palvelimelta mitä metadataformaatteja palvelin osaa palauttaa, ja indeksejä on haettavissa.

Muita mielenkiintoisia, olemassaolevia ohjelmointirajapintoja suomalaisiin kirjastoon ovat ONKI -ontologiapalvelimen rajapinnat sekä Kirjastot.fi:n Labsin rakentamat XML ja JSON -muotoiset rajapinnat HelMet -aineiston kyselyä varten. Tuleeko muita mieleen?

Oma lukunsa on sitten niinkutsuttu screenscraping. Tätä menetelmää voidaan toisinaan käyttää sellaisissa skenaarioissa, joissa palvelin ei oikeasti tarjoa mitään kunnollista ohjelmointirajapintaa. Näin toimivat Frank-monihaku sekä Kymenlaakson Kyyti.

Lisää avoimia rajapintoja on tulossa Axiellin kirjastojärjestelmiin (kröhöm) sekä Kansalliseen digitaaliseen kirjastoon KDK:hon.

Bibliografinen data on blääh, meillä on parempaakin

Mitä kaikkea dataa kirjaston itse kannattaa ylläpitää?

Mitä Lukas sanoi, bibliografinen metadata ja kuvailutiedot eivät ole kiinnostavinta dataa mitä meillä kirjastoilla on. Se on itseasiassa aika tylsää faktojen luettelemista ja se voidaan tuottaa, säilöä ja ylläpitää keskitetysti, ja jopa ostaa kuten tapana onkin (BTJ:ltä).

Bibliographic metadata as such describe publications, in the broadest sense, providing information about title, authors, subjects, editions, dates, urls, but also physical attributes like dimensions, number of pages, formats, etc. This type of information, in FRBR terms: Work, Expression and Manifestation metadata, is typically shared among a large number of libraries, publishers, booksellers, etc. ‘Shared’ in this case means ‘multiplied and redundantly stored in many different local systems‘. It doesn’t really make sense if all libraries in the world publish identical metadata side by side, does it?

Se mikä sensijaan oikeasti on mielenkiintoista, on paikallinen käyttödata sekä niteistä ja kokoelmista kertova data.

Currently, library data that is really unique and interesting is administrative information about holdings and circulation. After having found metadata about a potentially relevant publication it is very useful for someone to know how and where to get access to it, if it’s not freely available online. Do you need to go to a specific library location to get the physical item, or to have access to the online article? Do you have to be affiliated to a specific institution to be entitled to borrow or access it?

Usage data about publications, both print and digital, can be very useful in establishing relevance and impact. This way information seekers can be supported in finding the best possible publications for their specific circumstances.

Tästä on Suomessakin ollut puhetta tietyissä piireissä. Mitään kehitystä tähän suuntaan ei ole kuitenkaan otettu eikä toistaiseksi ole näkyvissäkään. Ehkä sitten, kun yhteisluettelo kansallinen metadatavaranto (”Melinda”), KDK:n asiakasliittymä, Axiell Arenan kansalliset ulottuvuudet tai jokin vastaava valmistuu ja teostaso voidaan kokonaan siirtää veke kaikista kirjastoista ja tehdä haut yhteen indeksiin (ja rajata halutuin ehdoin, esim. kuuluuko teos oman kirjastoni kokoelmaan), voidaan ruveta miettimään tällaisia asioita.

Lukekaa Lukaksen kirjoitus Local library data in the new global framework, jossa Lukas kertoo paikallisdatan merkityksestä tarkemmin ja myös esittelee malleja miten homman voisi toteuttaa.

Verkkotilastoinnissa ”haku” on virheellinen suomennos termille ”request”

Kirjasto-kaapelille juuri kirjoittamaani:

Verkkotilastoinnissa ”haku” on virheellinen suomennos termille ”request”

mace, 4. tammikuuta 2012 14:50

Vuotuinen tilastointirumba alkaa olla käsillä ja haluaisin kiinnittää huomiota erääseen verkkopalvelujemme tilastointiin liittyvään asiaan. Tiedän että ainakin joissain kirjastoissa verkkopalvelujen käyttöä tilastoidessa termi englannin kielinen sana request suomennetaan ”hauiksi”. Tämä on klassinen sudenkuoppa verkkotilastoinnissa.

Esimerkiksi PallasPro -Intron tilastointityökalussa cmnd=getcommand → cmnd=getstat kerrotaan käyttömääristä kahdella luvulla: Requests ja Sessions. Tiedän että monissa kirjastoissa täältä poimitaan tuo ”request” -tieto raportointia varten.

Requestin suomentaminen hauksi vääristää kuvaa kirjaston käytöstä pahasti. Nämä luvut ovat suuruusluokan verran liian korkeita. Mikäli tätä tietoa käytetään esim. päätöksentekoon ja toiminnan ohjaamiseen tai raportoidaan tilaajalle (esim. kunta tai kunnan kulttuuritoimi), tällä voi olla isohkoja vaikutuksia esim. rahoitukseen.

Olen gallupinomaisesti kysellyt parilta- kolmeltakymmeneltä kollegalta ja maallikolta että mitä heidän mielestään ”haku” tarkoittaa verkkokirjaston yhteydessä… eli “mikä sinun mielestästi on yksi haku?” Käytännössä kaikki ovat kuvailleet että heidän mielestään ”haku” muodostuu kun ihminen kirjoittaa jonkinlaisen hakulausekkeen ja painaa verkkokirjaston Hae -nappia. Mielestäni tämä on erittäin järkeenkäypää ja epäilen että olemme miltei kaikki samaa mieltä että juuri tätä tarkoitetaan kun puhutaan ”hausta” verkkokirjastojen yhteydessä.

Tilastointityökalujen laskemat ”requestit” on kuitenkin jotain aivan muuta kuin tämä. Niiden laskemisella voida juurikaan arvioida palvelun todellista käyttöä. Esimerkiksi PallasPro -Intron pelkälle etusivulle meno aiheuttaa vähintään puoli tusinaa ”requestia”, vaikka käyttäjä ei koskaan tekisi yhtään varsinaista aineistohakua.

Esimerkkinä 13 requestia Vennyyn

Sivulle tullessa käyttäjän selain pyytää webbipalvelimelta esimerkiksi sivupohjaa, tyylitiedostoa, kirjaston logoa, Axiellin logoa, autocomplete-skriptiä jne. Verkkokirjastoon saapuminen, sisäänkirjautuminen, lainojensa uusinta, omien varaustensa tilan tarkistaminen, ulos kirjautuminen ja verkkokirjastosta pois siirtyminen aiheuttaa vähintään tusina ”requestia”. Samoin ”näytä seuraavat 10 hakutulosta” -nappi ja ”näytä saatavuustiedot” -nappi aiheuttavat kaikki requesteja, vaikka tuskin kukaan ajattelee että nämä ovat uusia hakuja an sich.

Requestien määrä voi siis olla parikymmenkertainen verrattuna siihen, mitä me ihmiset ymmärrämme ”hauilla”. Se monestiko käyttäjä on oikeasti painanut Hae -nappia, voidaan laskea PallasPron logitiedostoista etsimällä merkkijonoa formid=find2 tai jollakin verkkologien analysointityökalulla.

Kuten tuossa aiemmin syksyllä kirjoittelin, olen tutkiskellut verkkokirjastojen PallasPro-kirjastojen verkkologeja. Tämä on eräs sitä kautta selvinneistä asioista. Minulla ei ole mitään tietoa mitä Axiell asiasta ajattelee tai miten he ohjeistavat käyttäjiään (l. kirjastoja) verkkotilastoinnin tekemiseen.

Alallamme tuntuu liikkuvan tietynlaista, hyvin ymmärrettävää epäuskoa käyttämiimme tilastoihin, ja joissain paikoissa käytössä olleet Google Analytics tai Kirjastot.fi:n verkkotilastointipalvelut (joista jälkimmäinen on poistunut käytöstä) ovat antaneet aivan toisenlaisia lukuja kuin nämä PallasPron requestit antavat ymmärtää.

Toivon siis, että mikäli käännätte verkkopalvelujen tilastoissa termin ”request” suomeksi ”hauksi”, teillä on siihen hyvät perusteet ja tiedätte mitä olette tekemässä, tai alatte käyttää jotain toista suomenkielistä sanaa kuten ”sivupyyntö” tai ”sivulataus”.

Vastaan mielelläni lisäkysymyksiin esim. tällä palstalla, tai vaikkapa Kirjasto-kaapelilla/puhelimitse/sähköpostitse/Fesessä/kahvilla tms. Lisäksi olen kysellyt jotakuta vertaisarvioimaan menetelmiäni, ja tämä kutsu on edelleen auki. Opetusvideota en ole asiasta vielä laatinut 🙂

Tsemppiä tilastointiin kaikille sitä tekeville.

Olisko kellään kokemusta PallasPron verkkokirjaston logien penkomisesta?

What's this then?

Onkohan kellään tietoa PallasPro-Intro -verkkokirjaston hakulogien tonkimisesta? Siinä ei käsittääkseni ole minkäänlaista raportointityökalua sinänsä, mutta ainakin sellaisilla kirjastoilla joilla on pääsy oman verkkokirjastonsa (aka näyttöluettelon aineistoluettelon aka OPACin) webbipalvelimeen on mahdollisuus tutkia sen logeja. Meidän (siis Vaskin) verkkokirjasto esittäytyy näin:

Server: PallasPro-Intro3 (liw3srvr kirjasto 13.6.2011 klo 12.10.03 HP-UX B.11.00 U II 2.0)

Onko kellään kokemusta tällaisen palvelimen logien tonkimisesta? Hakulausekkeethan eivät PallasPro-Introssa näy hakutulossivun URLissa vaan HTTP-headerissa. Onko tähän jotain työkaluja olemassa? Apachen logien tonkimiseen on vaikka mitä työkaluja, mutta tämä liw3srvr on mulle tyystin tuntematon.

Mikäli PallasPro-Intro juttelee taustajärjestelmän kanssa SRU:lla, tuon rajapinnan tarkkailu olisi toinen herkullinen paikka nuuskia mitä asiakkaat etsivät. Webbipalvelimen logista näkyy tosin kaikkea muutakin hauskaa.

Unelma: hakutuloksia seurattaisi systemaattisest päivittäin, ja tietoa hyödynnettäisi luetteloinnissa ja luetteloinnin apuvälineiden (esim. sanastot) kehittämisessä, kokoelmapolitiikassa, tapahtumien järjestämisessä ja käyttöliittymäsuunnittelussa. Näen asian niin, että tuohon PallasPro Intron hakulooraan asiakkaat kertovat tuhansia kertoja päivässä mitä he haluavat. Logien tutkiminen on tämän viestinnän kuuntelua. Näiden seuraaminen, tutkiminen ja julkaisu (sekä datana että jalostetusti) voisi minun mielestäni olla arkipäiväistä kirjastorutiinia.

Aloitin säikeen myös Kirjasto-kaapelilla.

Kiitos 50 000 käynnistä :)

Blogini kuukausitilastot

Tänään meni blogissani maaginen 50 000 käyntikertaa rikki, huraa! Mitään kaksista tilastoesittelyä en tässä nyt jaksa alkaa laatimaan, mutta ohessa kuvaruutukaappaus tilastoista tässä vuosien varrelta. Jos tietäisin kuka tuo viideskymmenestuhannes olisi, tarjoaisin tietenkin pullakaffet.

Postauksia on 273, kommentteja 425 joista osa on trackbackeja. Keskimäärin kutakin postausta on katsottu 106 kertaa (plus etusivun katsomiskerrat, joita on siis peräti puolet). Katselukertojen mukaan suosituimmat postaukseni ovat seuraavat:

Etusivu	20 868
About	1 025
Itkutipaton tammikuu 2011	786
iRex iLiad koekäytössä	458
Organisoituneen nuorkirjastolaisuuden vastaanotosta	421
Nuorkirjastolaisten keskusteluista Turusta mieleen jäänyttä	390
Marcin on kuoltava	363
Urpo Nylander esittelee e-kirjojen lukulaitteita	356
Bibliografista infopornoa, tätä et järjestelmätoimittajaltasi saa	337
Näen ekirjan käyttäjän	335
Tervehdin teitä, Turun pääkirjaston siivoojat	331
Re: Verta, leimoja ja kontaktimuovia	326
Kirjasto 10:n cd:t pusseihin	323
Kirjastokäynti on valitettava rasite, mutta kannattaa	321
Miksei kirjastolaisten keskuudessa kasva koodausosaaminen?	314
Kirjahyllyni	313
Miten voisi tutkia tekstinkäsittelyntyökalujen vaikutusta tekstintuotannon prosesseihin (tissit, katso kuva)	297
Tanskassa on moni asia toisin, moni ei	295
Isä Mitron haastattelu kirjastoista ja elämästä	274
Erään e-kirjan tarina	272
TTVK: Kirjojen vuokraus on kuin Pirate Bay	254
Jee meidän kirja Kirjasto 2010 tuli painosta 🙂	253
E-kirjat – kirjaston kohtalon kysymys?	246
Mikä on kirjakauppojen näytevarasto?	243
Avoin lähdekoodi, jakaminen ja riisto. Ja kirjastot tietty	243
Mitä kivaa voi tehdä Joensuussa?	239
Axiell saa palautetta; miten parannettaisi tilannetta?	232
Datat auki hallituksen päätöksellä, jos ei muuten	227
Tekijänoikeus, tuo iänikuinen puheenaihe	226
Tiesitkö tämän MARCista: salainen kolmas indikaattori	223

Jos jaksaisi säätää, niin datasta saisi käppyrän vaikka akäyttämieni tagien suosiosta, ehkä sellaisen jaksaa nikkaroida jossain vaiheessa. Suosituimmat haut ovat olleet

riippumaton asiantuntija	795
mace ojala	180
gutenbergin parenteesi	164
tissit	142
xmacex	112
macen hieno blogi	106
irex iliad	103
mace	93
asiantuntija	91
näytevarasto	90
recaptcha	86
macen blogi	80
irex	73
aalto yliopisto logo	71
kirjastovirkailijapäivät 2010	66
kirjastot ovat palaessaankin kauniita	66
kindle	59
cycling for libraries	57
mace blogi	57
heikki poroila	52
zotero	49
riippumaton	43
qaiku	42
mitä tehdä joensuussa	42

Ja hauskimmat hakutulokset siellä loppupäässä sitten 🙂

Suuri kiitos kaikille blogissani syystä tai viidennestä käyneille, toivottavasti olette löytäneet jotain mielenkiintoista. Kiitos myös WordPress.comille erinomaisesti toimivan WordPress -julkaisujärjestelmän tarjoamisesta. Tietenkin aivan erityinen kiitos kuuluu tämän blogin säännöllisille seuraajille, ja kaikille kommentoijille sekä muille teille ihanille näistä asioista keskusteleville ja kirjoitteleville. Murut ❤

Uus nimi+ulkoasu

Noni, laitoin tälle blogille nyt nimeksi jo jonkin aikaa suunnittelemani Riippumaton asiantuntija ja vaihdoin samalla teeman sellaiseen, jossa on muokattava headeri.

Olen aiemmin luvannut nimen keksijälle lakritsan jossa on asiaanliittymättömän henkikön nimikirjoitus 😉 mutta lunastajia ei ole toistaiseksi ollut.

Blogiin saapuu päivittäin muutamia lukijoita nettihaun ”macen hieno blogi” kautta. Toivottavasti löytävät tänne edelleen tai keksivät jonkun muun tavan tulla tänne, esim. tallentamalla osoitteen  joka on edelleen sama tai lukemalla RSS-feediä.