Avoin vastaukseni Googlelle suomalaisen bibliografisen kirjastodatan saatavuudesta

Posted on 2 heinäkuun, 2013 by mace

Google

Sähköpostissani oli Cycling for librariesista palatessa tälläinen viesti Googlelta

From: Google
To: Mace
Subject: VASKI feed?

Hei,

terveisiä Googlelta.

Olen Googlen kirjahakuprojektissa mukana, ja osa sitä on erilaisten kirjatietokantojen haaliminen. Huomasin VASKI-dumpin täällä http://data.kirjastot.fi/data.html mutta se on jo vuodelta 2010. Tiedätkö onko siitä mahdollisesti uudempaa versiota, vai olisiko peräti saatavilla säännöllinen dumppi?

Huomasin myös Helmet-datan, mutta sen CC-BY tekee siitä hieman hankalammin käytettävän

Lyhyet vastaukset kysymyksiin:

valitettavasti ei
pahoittelen, CC0 tiedetään kyllä sallivammaksi lisenssiksi

Kirjastojen bibliografinen metadatahan on hajaantunut sinne tänne, eikä ole mitään yhteistä laaria josta sitä voisi itselleen hankkia. Lähimpänä tällaista yhteisluetteloa lienee BTJ:n AllFons -palvelu ja suomenkielisen kirjallisuuden osalta kansallisbibliografia Fennica. Tulevaisuudessa ehkä sitten Melinda ja KDK, kunhan ne saadaan kasattua. Molemmat ovat sitoutuneet avoimeen dataan. Esimerkiksi Saksan kansalliskirjasto on kunnostautunut datansa saatavuuden osalta.

Googlen Knowledge Panel

Tässä vielä taustaa, tilannekatsaus sekä näkemyksiäni kirjastojen avoimeen (bibliografiseen) dataan:

Vaskin osalta tilanne on tällä hetkellä se, että alkuperäisen, itse kätilöimäni avoimena datana julkaisun jälkeen dumppia ei ole päivitetty ja avoin data ei ilmeisesti ole strategista toimintaa Vaskissa. En ole siellä enää töissä, joten parhaiten ja virallisesti asiaan osaa organisaation näkökulmasta vastata palvelujohtaja Ulla-Maija Maunu (sähköposti muotoa etunimi.sukunimi@turku.fi). Jos kirjastojen bibliografisesta datasta olisi uudempia versioita olemassa, ne olisivat tuolla http://data.kirjastot.fi/data.html:ssä, joka on kirjastojen yhteinen, simppeli ”datarepositorio”. Olen lähettänyt Vaskin datan myös Datahubiin.

Pääkaupunkiseutua ja joitain muita poikkeuksia lukuunottamatta muissakin Suomen yleisissä kirjastoissa data asustaa järjestelmäpalvelua tarjoavan Axiellin siipien suojissa. Kirjastot saavat omat datansa sieltä käyttöönsä Axiellin kirjastojärjestelmien kuten Auroran, PallasPron tai Origon kautta sekä niihin liittyvien web-liittymien kautta, sekä SRU-ohjelmointirajapinnalla johon pääsy tuppaa nyt Auroraan siirtymisen myötä olemaan rajoitettua. Pääsyn omaan raakaan dataansa kirjasto voi ostaa Axiellilta kuten marras-joulukuussa 2012 tekemässäni PIKI-tietokannan siivousmenetelmät -hankkeessa tehtiin (kts. projektinhallintatyökalun+työpäiväkirjan issue #3325). Axiellilta voi kysellä toimitushalukkuutta, -aikoja sekä -hintoja, ja katsoa lisäksi yllä mainitun PIKI-casen raportin talousosiota.

Axiellin Origo-järjestelmää käyttävät kirjastot ovat hyvässä asemassa, sillä ne voivat itse ottaa bibliografisen datansa ulos MARC-muodossa. Myös akateemisissa kirjastoissa, AMK:ien kirjastoissa sekä Kansalliskirjastolla on myös aika hyvät oltavat, koska ne pystyvät siirtelemään (ainakin bibliografista) dataansa ulos Voyager ja Aleph-järjestelmistään aika kitkattomasti.

Kansalliskirjaston liidaaman Kansallinen Digitaalinen Kirjasto -hankkeen on ollut tarkoitus saada datat liikkeelle kirjastojen omista järjestelmistä, ja se onkin edellytys koko KDK:n toiminnalle. Sama pätee EU:n Europeanaan. Lyhyesti sanoen sekä KDK että Europeana molemmat pyrkivät yhdistämään kirjastojen (sekä arkistojen ja museoiden) haut yhteen weppisivustoon. Syksyllä 2010 Turkuun lähtiessäni toivottiin OAI-PMH haravointirajapintaa yleisten kirjastojen bibliografisen datan siirtelyyn, mutta tietojeni mukaan tilanne on edelleen sama kuin Turusta lähtiessäni 2012 kesällä, eli Axiell ei valitettavasti ole saanut sitä vielä toimitettua. Kansalliskirjasto jo ostikin kaikille yleisille kirjastoille ja maksettua hintaa voi kysellä Kansalliskirjastolta tai Opetus- ja kulttuuriministeriöstä (KDK:n blogikirjoitus aiheesta ei valitettavasti ole enää saatavilla, valitettavaa ja hieman ironista sinänsä). Aihetta käsitellään Vaski-kirjastojen KDK-asiakasliittymän piloinnin loppuraportissa.

Tuo on siis tilanne käytännön datan liikuttelun kannalta. Helsingin alueella Helsinki Region Infoshare on kunniakkaasti edistänyt avoimen datan etenemistä, ja sen toiminta on nyt vakiintumassa osaksi Helsingin kaupungin Tietokeskusta. Siitä on tietenkin vielä paljon, paljon matkaa siihen, että virastojen, kuten Helsingin kaupunginkirjaston data oikeasti liikkuisi niin näppärästi kuin sen pitäisi. Helsingin kaupunginkirjastolla voinee jutella Jussi Vehviläisen ja Antti Pakarisen kanssa, HRI:llä Ville Melonin ja Tietokeskukselta löytynee joku myös.

Paljon puhuttujen immateriaalioikeuksien osalta tilanne on selvä, sillä kirjasto on itse tietokantansa sisällön ylläpitäjä (ei Axiell eikä sisällöntuottaja BTJ tai Kirjavälitys), ja näinollen myös immateriaalioikeuksien omistaja (Tekijänoikeuslaki 49 §). Lisäksi tekijänoikeuslaki takaa sille jolla on oikeus käyttää tietokantaa myös oikeuden tehdä siitä kappaleita (25 j § mom. 4), ja erikseen kumoaa lisenssiehdot jotka pyrkivät haittaamaan tätä (25 j § mom. 5). Lisäksi joku keskeinen oikeus päättyy 15 vuoden päästä tietokannan yleisölle saattamisen jälkeen (49 § mom. 2), mutta minulle on hieman epäselvää tarkalleen mikä.

Kollegiaalisia terveisiä sinne Googlelle lähettäen

Mace

PIKI-kirjastojen tietokantapöyhintäni lähdekoodi, työpäiväkirja ja raportti julkistettu

Posted on 12 maaliskuun, 2013 by mace

BaseX:llä ja XQueryllä MARC21 -tietueiden kimpussa

Tein marras-joulukuussa freelancena töitä PIKI-kirjastoille tietokannan siivouksen parissa. Pöyhin about 2 miljoonaa MARC21 -tietuetta kokonaan kirjastojärjestelmän (Axiell Aurora) ulkopuolella ja hauskaa oli. Lisäksi suunnittelin miten kirjastojärjestelmän ulkopuolella tehtyjä muutoksia voi tuoda tuotantotietokantaan ym. ym.

Projektin- ja asianhallintaan käytin Kirjastot.fi:n tarjoamaa Redmineä, ja käytin sitä myös työpäiväkirjanani. Avasin sen julkiseksi ja se on siis kaikkien nähtävissä. Tonkimiseen paras alku lienee lista kaikista issue-trackeriin merkityistä asioista. Kaikki kirjoittamani XQuery -kielinen lähdekoodi löytyy sensijaan GitHubista ja minua, sinua ja lähdekoodia suojaa GNU GPL-lisenssi. Työpäiväkirja ja lähdekoodi ovat mielestäni mielenkiintoisimmat dokumentit työstäni ja analyyseistä. Laadin myös raportin, joka löytyy Google Docsista, jossa sitä voi myös kommentoida.

(: Check all classification fields which claim to get their value from
YKL classification systems, see if they are really define there. Based
on my screenscraped YKL :)

declare namespace srw="http://www.loc.gov/zing/srw/";
declare namespace marc="http://www.loc.gov/MARC21/slim";

declare variable $yklres := fn:doc('ykl.xml');
declare variable $ykl := $yklres/ykl/class/@no/data();

<yklClasses>{
for $field in /records/record/srw:recordData/marc:record/marc:datafield[@tag="084"]
  let $classNo := $field/marc:subfield[@code="a"]/data()
  where $field[marc:subfield[@code="2"] = "ykl"]
  return <yklClass
    inYkl="{if ($classNo = $ykl) then 'true' else 'false'}">{
      $classNo
  }</yklClass>
}</yklClasses>

Esitelmöin ja toivottavasti myös demoan hommiani Kansalliskirjaston järkkäämillä sisällönkuvailun tiedostuspäivillä lounaan jälkeen keskiviikkona 20.3.2013 Helsingin yliopiston päärakennuksen pienessä juhlasalissa. Päivillä on muutakin mukavaa ja mielenkiintoista aihetta tarjolla. Tilaisuuteen voi osallistua etänä, ja webinaari ilmeisesti myös taltioidaan. Toivottavasti siellä tavataan.

Esittelyssä kirjastojen avoin rajapinta SRU

Posted on 7 marraskuun, 2012 by mace

Asiaan liittymätön, mutta naurusta kangistunut kissa

Julkaisempa tämän SRU:ta käsittelevän jutun luonnos-kansiostani, kun SRU on tullut puheeksi viime aikoina useampaan kertaan.

Kirjastoilla on pitkät perinteet aineistoluetteloidensa ohjelmointirajapinnoissa. Vaikka alallemme on hakeutunut sangen niukalti tietokone- ja ohjelmointiosaamista, ja vaikka ilmeisen harvat näitä asioita aktiivisesti ajattelevat, eräs asia mistä puhutaan paljon ovat ohjelmointirajapinnat. Nämä tulevat esiin KDK:n, Auroran, Arenan, CS Library ym. kaltaisissa hankkeissa, joissa nimenomaan avoimet ohjelmointirajapinnat ovat keskeisiä jotta eri järjestelmät voivat keskustella keskenään.

Kenties olisi itua kerätä yhteen paikkaan, kenties data.kirjastot.fi:hin tietoa käytössä ja saatavilla olevista rajapinnoista, erityisesti sellaisista joihin on nyt heti tänään pääsy sekä meillä kirjastoihmisillä itsellämme, että myös muilla organisaatioilla, kansalaisilla ja toimijoilla. Näitä tietojahan on esim. Nelli-portaalin myötä kerätty Kansalliskirjastolle.

Search/Retrieval via URL

Eräs yleinen ja tutustumisen arvoinen kirjastomaailman ohjelmointirajapinta on Search and retrieve via URL (SRU). Kyseessä on standardi, ja tavallaan nykyaikainen versio Z39.50:stä (aka ”Z” aka. ”Zing”) jota olemme kauan käyttäneet ns. kopio- eli poimintaluettelointiin. Kuten nimi sanookin, on kyseessä rajapinta tiedonhakuun. Z, SRW ja SRU ovat kaikki oikeasti eri asioita, mutta nimiä kuulee käytettävän ristiin. Z39.50:n juuret ylettävät kauas, kauas aikaan ennen WWW:tä (kuka muistaa WAIS -tiedonhakujärjestelmän?), SRU on tuoreempaa perua.

SRU:ta käytettäessä hakulausekkeet kuvaillaan Contextual Query Language (CQL) -kielellä. SRU:ta varten on toki olemassa valmiita ohjelmointikirjastoja esimerkiksi Perliin. Kun katsot alla olevia esimerkkejä, tuon query parametrin kaverina on CQL:llä kuvailtuja yksinkertaisia hakulausekkeita. CQL on kyllä sangen ilmaisuvoimainen, ja palvelimesta sitten lopulta riippuu miten se lausekkeita tulkitsee.

Kansalliskirjaston NelliWiki kertoo SRUsta ihan kattavasti.

PallasPro -järjestelmien SRU -rajapinnat vaikuttavat olevan verkkokirjastojen /Zing? -osoitteissa, ja mahdollisesti perustuvat Index Datan tekemiin komponentteihin, jotka sinänsä ovat avointa lähdekoodia ja vapaasti netistä ladattavissa ja käyttöön otettavissa. SRU-palvelimen pystyyn säätäminen ja ylläpito ei taida olla erityisen hauskaa, mutta se on mahdollista.

Varsinais-Suomen yleisten kirjastojen kirjastokonsortion Vaskin SRU-rajapinta palveli aiemmin osoitteessa http://borzoi.kirja.turku.fi/Zing?, mutta on poistunut käytöstä Auroraan siirtymisen myötä. Vaskin nykyinen SRU-rajapinta taitaa olla palomuurin takana. Lapin osoite on http://intro.rovaniemi.fi:8001/Zing? ja Ratamo -kirjastojen http://ratamo.kirjas.to:8005/Zing?.Mitäs muita on, miten nuo Axiellilla hostatut palvelut menevät (esim. http://outi.kirjas.to/). Nämä osoitteet eivät taida olla missään mainostettuja, vaan olen deduktiivisesti päätellyt ne itse, eikä niiden käyttöä näytä olevan mitenkään erityisesti estetty. Joissain kirjastoissa, esim. Vaskissa ja PIKIssä on SRU-rajapintoihin pääsy kokonaan palomuurilla estetty. Kansalliskirjaston palveluista on tietoa täällä ja USA:n Kongressin kirjaston http://z3950.loc.gov:7090/voyager?.

Löpinät sikseen, näin haet 10 kissoja tai koiria käsittelevää teosta Lapista:

http://intro.rovaniemi.fi:8001/Zing?operation=searchRetrieve&query=dc.subject=kissa%20or%20dc.subject=koira

Vastaus näyttää sitten tällaiselta

<?xml version="1.0" encoding="UTF-8"?>
<SRW:searchRetrieveResponse xmlns:srw_dc="info:srw/schema/1/dc-v1.1" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:cld="http://www.ukoln.ac.uk/metadata/rslp/schema/" xmlns:DIAG="http://www.loc.gov/zing/srw/diagnostic/" xmlns:mods="http://www.loc.gov/mods" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:dcmitype="http://purl.org/dc/dcmitype/" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:SRW="http://www.loc.gov/zing/srw/" xmlns:zng="urn:z3950:zng_prototype1" xmlns:rec="info:srw/schema/2/rec-1.0">
 <SRW:version>1.1</SRW:version>
 <SRW:numberOfRecords>2382</SRW:numberOfRecords>
  <SRW:records>
 <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Joiku 2007 2 : Lapin nuuskut ry:n jäsentiedote</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>noutajat</dc:subject>
<dc:description>4 kertaa vuodessa</dc:description>
<dc:publisher>Lapin nuuskut ry</dc:publisher>
<dc:date>2007</dc:date>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>1</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10067478</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Burda 2005/10</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>kaavat</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>2</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050294</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2005/4</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>3</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050187</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2005/2</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>neuleet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>4</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10050185</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2003/10</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>5</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10036034</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Suuri käsityölehti 2001/11-12</dc:title>
<dc:subject>koira</dc:subject>
<dc:subject>vaatteet</dc:subject>
<dc:subject>neuleet</dc:subject>
   </SRW:recordData>
   <SRW:recordPosition>6</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_10021521</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Lappalaiskoirat : iloisesti läsnä / [teksti Sanna Karppinen] ; [kuvat Lappalaiskoirat ry]</dc:title>
<dc:creator>Karppinen, Sanna</dc:creator>
<dc:creator>Lappalaiskoirat</dc:creator>
<dc:subject>koira</dc:subject>
<dc:subject>suomenlapinkoira</dc:subject>
<dc:subject>lapinporokoira</dc:subject>
<dc:subject>ruotsinlapinkoira</dc:subject>
<dc:subject>porokoirat</dc:subject>
<dc:subject>lappalaiskoirat</dc:subject>
<dc:subject>historia</dc:subject>
<dc:subject>harrastukset</dc:subject>
<dc:subject>paimenkoirat</dc:subject>
<dc:subject>paimennus</dc:subject>
<dc:publisher>Kirjakaari</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-952-5969-06-1</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>7</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541666</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Ketterä kisu / [Sarah Phillips ; suunnittelu: Mark Richards ; suomennos: Anu Karvinen]</dc:title>
<dc:creator>Phillips, Sarah</dc:creator>
<dc:creator>Richards, Mark</dc:creator>
<dc:creator>Karvinen, Anu</dc:creator>
<dc:subject>lastenkirjallisuus</dc:subject>
<dc:subject>kuvakirjat</dc:subject>
<dc:subject>koskettelukirjat</dc:subject>
<dc:subject>paksulehtiset kirjat</dc:subject>
<dc:subject>etsintä</dc:subject>
<dc:subject>kissa</dc:subject>
<dc:subject>eläimet</dc:subject>
<dc:description>Tunnustelukirja</dc:description>
<dc:description>BTJ, T121015, BTJ Kirjo 2012 : 17a, 20121015, 7,25EUR, 9%, 22, 2,47, ACF-, 021, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=PRES&key=4525480053575466, Kuvaus, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=IMAGE&key=4525480053575466, Kansikuva</dc:description>
<dc:publisher>Kirjalito</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-951-28-5523-0</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>8</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541515</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Leikkisät pennut / [Sarah Phillips ; suunnittelu: Mark Richards ; suomennos: Anu Karvinen]</dc:title>
<dc:creator>Phillips, Sarah</dc:creator>
<dc:creator>Richards, Mark</dc:creator>
<dc:creator>Karvinen, Anu</dc:creator>
<dc:subject>lastenkirjallisuus</dc:subject>
<dc:subject>kuvakirjat</dc:subject>
<dc:subject>koskettelukirjat</dc:subject>
<dc:subject>paksulehtiset kirjat</dc:subject>
<dc:subject>etsintä</dc:subject>
<dc:subject>ystävät</dc:subject>
<dc:subject>leikki</dc:subject>
<dc:subject>koira</dc:subject>
<dc:subject>pennut</dc:subject>
<dc:description>Tunnustelukirja</dc:description>
<dc:description>BTJ, T121015, BTJ Kirjo 2012 : 17a, 20121015, 7,25EUR, 9%, 22, 2,47, ACF-, 021, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=PRES&key=2226144582534108, Kuvaus, http://www.btj.com/btjcgi/arvo/get_add_info.cgi?type=IMAGE&key=2226144582534108, Kansikuva</dc:description>
<dc:publisher>Kirjalito</dc:publisher>
<dc:date>2012</dc:date>
<dc:identifier>978-951-28-5522-3</dc:identifier>
<dc:language>fin</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>9</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541505</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  <SRW:record>
   <SRW:recordPacking>XML</SRW:recordPacking>
   <SRW:recordSchema>info:srw/schema/1/dc-v1.1</SRW:recordSchema>
   <SRW:recordData>
     <dc:title>Jakt med älghund : från valp till älghund / Rolf Westerberg ; [illustrationer: Rolf Svensson ; foto: Anna-Sara Persson]</dc:title>
<dc:creator>Westerberg, Rolf</dc:creator>
<dc:subject>metsästys</dc:subject>
<dc:subject>hirvi</dc:subject>
<dc:subject>koira</dc:subject>
<dc:subject>metsästys</dc:subject>
<dc:subject>hirvikoirat</dc:subject>
<dc:subject>jämtlanninpystykorva</dc:subject>
<dc:subject>harmaa norjanhirvikoira</dc:subject>
<dc:subject>valkoinen ruotsinhirvikoira</dc:subject>
<dc:subject>musta norjanhirvikoira</dc:subject>
<dc:subject>karjalankarhukoira</dc:subject>
<dc:subject>laika</dc:subject>
<dc:subject>jakt</dc:subject>
<dc:subject>älg</dc:subject>
<dc:subject>hund</dc:subject>
<dc:subject>jakt</dc:subject>
<dc:subject>älghund</dc:subject>
<dc:subject>jämthund</dc:subject>
<dc:subject>norsk älghund, grå</dc:subject>
<dc:subject>svensk vit älghund</dc:subject>
<dc:subject>norsk älghund, svart</dc:subject>
<dc:subject>karelsk björnhund</dc:subject>
<dc:subject>lajka</dc:subject>
<dc:subject>hälleforshund</dc:subject>
<dc:publisher>Settern</dc:publisher>
<dc:date>2011</dc:date>
<dc:identifier>978-91-7586-634-5</dc:identifier>
<dc:language>swe</dc:language>
   </SRW:recordData>
   <SRW:recordPosition>10</SRW:recordPosition>
   <SRW:extraRecordData>
     <rec:id>Ppro698_541413</rec:id>
   </SRW:extraRecordData>
  </SRW:record>
  </SRW:records>
 <SRW:echoedSearchRetrieveRequest>
  <SRW:version>1.1</SRW:version>
  <SRW:query>dc.subject=kissa or dc.subject=koira</SRW:query>
  <SRW:startRecord>1</SRW:startRecord>
  <SRW:maximumRecords>10</SRW:maximumRecords>
  <SRW:recordPacking>xml</SRW:recordPacking>
  <SRW:recordSchema>dc</SRW:recordSchema>
 </SRW:echoedSearchRetrieveRequest>
</SRW:searchRetrieveResponse>

Siis ihan mukavaa XML:ää jolla voi tehdä kaikkea hauskaa. Eli ei muuta kuin parsimaan!! Jos tykkää ylläolevan Dublin Coren sijasta enemmän MARCista (kröhöm), voi vastauksen pyytää MARCXML:nä antamalle SRU-kutsulle parametrin recordSchema=marcxml, näin:

http://intro.rovaniemi.fi:8001/Zing?operation=searchRetrieve&recordSchema=marcxml&query=dc.subject=kissa or dc.subject=koira

SRU:n explain -operaatiolla voi kysyä palvelimelta mitä metadataformaatteja palvelin osaa palauttaa, ja indeksejä on haettavissa.

Muita mielenkiintoisia, olemassaolevia ohjelmointirajapintoja suomalaisiin kirjastoon ovat ONKI -ontologiapalvelimen rajapinnat sekä Kirjastot.fi:n Labsin rakentamat XML ja JSON -muotoiset rajapinnat HelMet -aineiston kyselyä varten. Tuleeko muita mieleen?

Oma lukunsa on sitten niinkutsuttu screenscraping. Tätä menetelmää voidaan toisinaan käyttää sellaisissa skenaarioissa, joissa palvelin ei oikeasti tarjoa mitään kunnollista ohjelmointirajapintaa. Näin toimivat Frank-monihaku sekä Kymenlaakson Kyyti.

Lisää avoimia rajapintoja on tulossa Axiellin kirjastojärjestelmiin (kröhöm) sekä Kansalliseen digitaaliseen kirjastoon KDK:hon.

Kaksi avoin data -sovellusta tällä viikolla: tuplakontrolli ja VuFind

Posted on 19 marraskuun, 2011 by mace

Metadataa. Kirjastotyön apuprosessien ytimessä!

Turun ja naapurikuntien kunnankirjastojen Vaski-kirjastokimppa julkaisi aineistotietokantansa avoimena datana vähän aikaa sitten. Avoimen datan idea on, että hyödyllinen annetaan esteettä kaikkien käyttöön. Tällainen ajattelu sopii erinomaisesti kirjastoihin. Yksi hauska puoli avoimessa datassa on se, että data on silloin myös meidän itsemme käytössä. Tämä ei ole ollenkaan itsestäänselvää – normaalisti voimme itsekin käsitellä MARC-tietueitamme vain yhdellä työkalulla, nimittäin kirjastojärjestelmällämme. Vaskissa käytämme Axiellin PallasProta, jolla ei voi tehdä kaikkea. On tärkeää päästä dataan käsiksi monin eri tavoin, ja monien eri tahojen toimesta.

Tässä kaksi casea, joissa kuluneella viikolla hyödyin siitä, että minulla (kuten kakikilla maailman ihmisillä) on esteetön pääsy luettelointidataamme.

Case 1: tuplakontrollia

Duplikaattiongelma. Lulz

Täällä Vaskissa me valmistaudumme vaihtamaan PallasPron toiseen Axiell-tuotteeseen, Auroraan. Samassa tietokantaamme tulee mukaan lisää kirjastoja, ja siirrymme FinMARC -luettelointiformaattista MARC21:een. Anna valvoo ja suunnittelee sitä, yhdessä muiden luetteloijien ja Axiellin kanssa.

Vaski, kuten muutkin kirjastotietokannat ovat sangen sotkuisia monellakin tapaa. Esimerkiksi yhdestä teoksesta saattaa olla useita luettelointitietueita (ns. tuplia (tai tripliä (tai quadruplia (ad nauseaum)))). Ne ovat tietokannan käytön kannalta ärsyttäviä, ja niitä yritetään nyt siivoilla pois.

Tein Annalle tällaisen Perl-ohjelman, joka etsii tuplia ISBN-koodin perusteella (joka on tallennettu kenttään 021‡a):

#!/usr/bin/perl
# lists ISBN-codes which appear in more than one MARC record

use MARC::Batch;

my $file = "vaski-kunnostettu.mrc";
my $batch = MARC::Batch->new('USMARC', $file);

$batch->strict_off();
# First, let's create a magnificient hash or arrays, with ISBNs as keys, and
# lists of record ids as values
while ($record = $batch->next()) {
	for my $field ($record->field('021')) {
		my $isbn = $field->subfield('a');
		push(@{$recsperisbn{$isbn}}, $record->field('001')->data());
	}
	++$i;
}

# then let's see through the hash, and print all the ISBNs which appear in more
# than one record, and list all the records ids per ISBN too
while (my ($key, $value) = each(%recsperisbn)) {
	if (@$value > 1) {
		print($key, ": ");
		foreach $recid (values($value)) {
			print($recid,",");
		}
		print("\n");
	}
}

Tämä ohjelma käy järjestyksessä läpi kaikki tietueemme, ja muodostaa kaikista esiintyvistä ISBN-koodeista listan missä kaikissa tietueissa se esiintyy. Lopuksi se tulostaa kaikkien sellaisten tietueiden tunnisteen (kentästä 001), joiden ISBN esiintyy useammassa kuin yhdessä tietueessa. Näitä löytyi reilu 15 000. Anna arvioikoot, mitkä niistä voisi yhdistää keskenään. Yllä oleva Perl-ohjelma on rakennettu MARC::Record ja MARC::Batch -ohjelmointikirjastojen päälle, jotka ovat ilmaisia, standardin mukaisia ja avointa lähdekoodia.

Case 2: verkkokirjaston pystyttäminen

VuFind

Toinen tämänviikkoinen näpertelyn kohde on VuFind. Se on täysiverinen verkkokirjasto-ohjelmisto, verrattavissa esim. KDK-hankkeessa pilotoitavana olevaan ExLibriksen Primoon. Hakumoottorina VuFind käyttää Solria. Vain paras on kyllin hyvää! Sanomattakin selvää, että sekä VuFind että Solr ovat avointa lähdekoodia ja vapaasti käytettävissä.

Taustajärjestelminä VuFind voi suoraan käyttää Alephia, Voyageria, Innovativen Milleniumia, avoimen lähdekoodin eXtensible Catalogia, Kohaa ja Evergreeniä, OCLC PICAa ynnä muita. Kuten erittäin hyvin tiedämme, me suomalaiset yleiset kirjastot olemme marginalisoituneita kansainvälisistä kollegoistamme omine Axiell-järjestelminemme, mutta VuFindin ja Axiellin järjestelmien väliin voi kyllä rakentaa yhteyden. Tämä tapahtuu laatimalla ohjelma, jota VuFindissa kutsutaan ILS -ajuriksi. Toisessa päässä, eli Axiellin kirjastojärjestelmän päässä käytetään Axiell Web Services -rajapintaa, joka on useiden suomalaisten Axiellin tuotteita käyttävien kirjastojen käytettävissä.

Viikin kampuskirjaston eViikki -palvelu

Suomessa VuFind on käytössä ainakin Helsingin yliopiston Viikin kampuskirjastossa, jonka palvelu on nimeltään eViikki. Maailmalta löytyy paljon kirjastoja, jotka ovat valinneet VuFindin.

En perjantaina jaksanut alkaa säätämään virallisen tietohallinnon kanssa tai ehdottelemaan mitään toimiryhmien perustamista ja kerran kuukaudessa pidettäviä pullakahvikokouksia, joten laitoin omin nokkineni palvelimen pystyyn Amazonin EC2 -pilveen. Se oli asiaan jo ennalta tutustuneena oikeastaan pöyristyttävän helppoa ja siihen meni alle tunti. VuFindin olen aiemmin asentanut omalle läppärilleni, mutta nyt pystyttämääni palvelimeen indeksoin myös Vaskin bibliografisen datan ja katsoin järjestelmää muutenkin tarkemmin. Datamme on FinMARCia, mutta olen konvertoinut sen itse MARC21:ksi Kansalliskirjaston ylläpitämillä konvertointisäännöillä sekä USEMARCON-ohjelmalla (kiitos Ulla, Ere ym.). Näitä Axiellkin käyttää kun teetätämme heillä konvertointityötä.

Hyvältä ja selkeältä näyttää toi VuFind kyllä 🙂

Laadukas viikko takana 🙂

Tein esittelyvideon ehdottamastani issue trackeristä

Posted on 22 maaliskuun, 2011 by mace

Ehdottelin pari päivää sitten useissakin paikoissa (blogissa, Kirjasto-kaapelilla, privana useamman henkilön kanssa), että me kirjastolaiset voisimme perustaa issue trackerin sekä Axiellin verkkokirjastotuotetta Arenaa että heidän taustajärjestelmäänsä Auroraa varten ja mahdollisesti muuhunkin käyttöön. Ehdotus on saanut paljon kannatusta eri puolilta, eiköhän näillä puheilla pistetä homma pystyyn. Kirjastot.fi päivittänen Redminen uusimpaan versioon, niin päästään alkuun.

Pohjille voisi varmaan laittaa nykyiset aikataulut (testivaihe, tuotantoon meno jne), tiedossa olevat päivitykset, vaatimusmäärittelyt ja mitä ominaisuuksia on kaavailtu tulevaisuudessa sekä tietenkin bugit ja sensemmoiset.

Tein pienen esittelyvideon Kirjastot.fi:n tarjoamasta projektinhallintatyökalusta Redminestä, sekä siitä miten olen sillä itse hallinnoinut EuropeanaLocal -hanketta.

Korkearesoluutioisemmista videoista näet lukea tekstinkin, niin saat paremman kuvan miten olen järjestelmää käyttänyt.

Axiell saa palautetta; miten parannettaisi tilannetta?

Posted on 21 maaliskuun, 2011 by mace

Axiell

Ei kannata missata Kirjastot.fi:ssä käytävää keskustelua Axiellista sekä PIKI-alueen verkkokirjastouudistuksesta. Heikki Poroila aloitti blogissaan otsikolla PIKI-uudistus Tampereella epäonnistunut – asiakaspalaute murskaavaa ja sittemmin keskustelua on käyty Kirjasto-kaapelin puolella.

Jos minulla olisi kirjasto, se olisi varmasti Auroraton ja luultavasti Arenaton. Kirjastojen ja yritysten suhde on kiusallinen, eivätkä kirjastojen suhteet Axielin kanssa tunnu kuulopuheideni mukaan olevan kovin lämpimät. Tämä varmaan tiedetään Axiellissa kyllä, mutta itselleni lähinnä HelMetin Innovative -umpiossa kasvaneena epäluottamuksen määrä on kuitenkin ollut yllätys. Tilanne ei tietenkään ole kenenkään etu, ei kirjastojen, ei Axiellin eikä Suomen kansan etu.

Hyvä kuitenkin että tätä keskustelua käydään. Eilen taas seikkailin avoimen lähdekoodin maailmassa, ihailusta pakahtuneena. Aivan eri maailma. En nyt tarkoita tuotteita (siis tietokoneohjelmia) vaan avointa lähdekoodia kokonaisuudessaan. Mitä tapahtuisi jos avaisimme Axiellin kanssa tai ilman Axiellia jonkun issue trackerin, jonne dokumentoisimme ohjelmistohankkeitamme? Voisimme tehdä sen heti, siihen ei kauaa menisi sillä Kirjastot.fi on pitkään tarjonnut alallemme keskitettynä projektinhallintatyökaluna Redmineä.

Julkiset ongelmien raportointi-, dokumentointi- ja seurantatyökalut ovat olleet arkea avoimen lähdekoodin maailmassa vuosikausia. Vaikka Axiellin Arena ja Aurora -tuotteet eivät avointa lähdekoodia olekaan, voisimme aivan hyvin valita tehdä projektinhallintaa avoimesti, mieluusti Axiellin kanssa yhteistyössä.

Tässä vielä täydellisyyden (ja tautologian) vuoksi Kirjasto-kaapeli -foorumille kirjoittamani haaste:

Hyvää keskustelua täällä. Mutta hmm-hmm miten voitaisi parantaa tilannetta?

En tiedä moniko meistä tuntee esim. issue trackereiden kaltaisia projektinhallintatyökaluja enkä tiedä millaista ohjelmistoprojektien hallintaa Axiell sisäisesti tekee, mutta ehdotan, että avaamme julkisen issue trackerin.

Kirjastot.fi on jo pitkään tarjonnut Redmine -ohjelmistoa kirjastojen erilaisiin projektinhallintatarpeisiin, olen itse käyttänyt sitä 23 asiaa -verkkokurssin ja Suomen EuropeanaLocal -hankkeen yhteydessä. Redmine on ihan hyvin toimiva ongelmapohjaiseen projektinhallintaan, tosin en ole mikään projektinhallinnan ammattilainen enkä ole aktiivisesti käyttänyt montaakaan vastaavaa ohjelmistoa. Avoimen lähdekoodin maailmassa joitain yleisesti käytettyjä ovat Bugzilla, Launchpad, Trac (mm. Europeana), SourceForge, Google Code, Redmine.

Tällaisethän ovat tuolla ”Oikeassa Maailmassa”, kirjastokuplamme ulkopuoellla aivan arkipäiväisiä ohjelmistonkehityksen työkaluja. Avoin lähdekoodi ei ole edellytys tällaisen järjestelmän käyttämiseen (vaikka avoin lähdekoodi on tietenkin parempi asia kuin estetty lähdekoodi).

Vaski-kirjastoissa ollaan ottamassa käyttöön Auroraa. Asiakasliittymäksi tulee KDK, jota pilotoimme. Henkilökohtaisesti olen valmis sitoutumaan yllä kuvailemani kaltaiseen järjestelyyn käyttää jotain issuetrackeriä. Itseasiassa olisin hyvinkin kiinnostunut jos me Axiell -tuotteita kehittävät kehittävät päättäisimme ottaa tuollaisen jokapäiväikseksi työkaluksemme ja yhteistyöalustaksemme.

Olisiko kiinnostuneita? Tämä on erityisesti suunattu kollegoilleni Vaski-kirjastossa, Axiellille ja Kansalliskirjaston kirjastoverkkopalveluyksikölle, sekä mukaan haluaisin tietenkin kollegoita muualtakin jossa Axiellin kanssa toimitaan. Äkkiseltään tuntuisi hyvältä perustaa omat issue trackerit Axiellin Auroralle ja Axiell Arenalle, ja KDK:llekin olen kaipaillut sellaista. Miten on?

Kopioluettelointi on ehkä hajoamassa

Posted on 23 tammikuun, 2011 by mace

Eräs muunnostyökalu bibliografisten tietueiden käsittelyyn :^)

Tuli tuossa sattumalta esiin, että kirjastojen välinen kopioluettelointi (aka. poiminta) nähtävästi menee ainakin vähän rikki seuraavaksi pariksi vuodeksi. En vielä tässä vaiheessa tiedä asiasta tarpeeksi (kuten ensimmäisen virkkeen epämääräisyys antaa jo ymmärtää) ja tästä on ehkä jossain keskusteltu jo, mutta otanpa asian kuitenkin varmuuden vuoksi esiin.

Saattaa olla ehkä syytä kiinnittää huomiota siihen, että kun yleiset kirjastot pikkuhiljaa vaihtavat Axiellin PallasProsta ja Origosta Auroraan ja kun samalla vaihtuu myös metadataformaatti FinMARCista MARC21:een, eriytyy Suomi kahteen kopioluetteloinnin maailmaan, jotka ovat keskenään erilaisia formaatin eroista johtuen.

En tiedä onko tämä ongelma, MARC mikä MARC, ja kopioluetteloidessa jokatapauksessa kopsattavia tietueita muokataan paikallisesti. MARC21:stä (Auroroista) vanhempiin PallasProihin ja Origoihin kopsailu (ja toisinpäin) tullee kuitenkin muuttumaan työläämmäksi, kunnes kaikilla lopulta on MARC21. Voi toki olla, että Aurorassa itsessään on jo olemassa mahdollisuus pyytää tietueita muissakin muodoissa kuin MARC21:nä, se olisi hienoa.

Tässä olisi vielä aikaa toimia ja kenties ideoida joku keskitetty helpotuskeino. FinMARC↔MARC21 -muunnoshan onnistuu koneellisesti Kansalliskirjaston USEMARCON -ohjelmalle laatimilla muuntosäännöillä. En tiedä olisiko mitään järkeä rakennella jotenkin keskitetysti härveli, joka tekisi muunnoksen automaattisesti poiminnan yhteydessä? Index-Datan YAZ Proxyä voisi ehkä käyttää, tai rakennella YAZ-kirjastojen päälle oman gatewayn joka esim. USERMARCONia käyttäen murjoisi kopioitavat tietueet läpi Kansalliskirjaston muuntosäännöstöstä.

Oliskohan tollaiselle tarvetta? Yhteisluettelo sitten aikanaan poistaa tällaiset haasteet lopullisesti. Jos tämä nyt osoittautuu merkittävästi työllistäväksi asiaksi, niin positiivisena asiana nähtäkööt se, että se jouduttaa yhteisluettelon rakentamista.

Asia tuli esiin, kun eräästä toisesta maakuntakirjastosta oltiin yhteydessä minuun, kun sekä Pirkanmaan PIKI:stä että meiltä Varsinais-Suomen Vaskista kopioluetteloiunti oli lakannut toimimasta. Syy on ilmeisesti kuitenkin eri kuin yllä kuvasin.


⋮
// ***245+248 ALKAA TÄSTÄ***
245I1           | = 0) Then RegMatch(1) Else S;
                                    RegReplaceTable('pieni-isoksi-merkkijonon-alussa.tbl');
                                    If (%000/7/ = 'p' And RegFind('[Aa]rkisto') < 0) 'Arkistoaineisto';
                                    '[' + S + ']'
245$b           | 1', Strict);
                                    If (NextSub($a, '=1') = 'a') ReplaceOcc ('$a' By ' ;$b', '=2', Strict);
                                    ReplaceOcc ('$a' By ' ; ', '>1', Strict);
                                    If (NextSub($a, '=1') != 'a' And Not ExistsIn(S, $b)) ReplaceOcc ('$r' By ' =$b', '=1', Strict);
                                    Replace ('$r' By ' = ', Strict);
                                    Replace ('$t' By '. ', Strict);
                                    ReplaceOcc ('$c' By ' / ', '>1', Strict); Replace ('$c' By ' /$c', Strict);
                                    If (ExistsIn(S, $c)) Replace ('$d' By ' / ', Strict); ReplaceOcc ('$d' By ' / ', '>1', Strict); Replace ('$d' By ' /$c', Strict);
                                    Replace ('$e' By ' ; ', Strict);

                                    If (PreviousSub($n, '=1') = 'h' Or PreviousSub($p, '=1') = 'h') MoveBefore('np', $h, 'np', '', '', ' :| /| ;|.| =');

                                    If ($c Precedes $p And PreviousSub($p, '=1') = 'n') ReplaceOcc ('$p' By ', ', '=1', Strict);
                                    If ($c Precedes $p And PreviousSub($p, '=1') != 'n') ReplaceOcc ('$p' By '. ', '=1', Strict);

                                    If ($c Precedes $p And PreviousSub($p, '=2') = 'n') ReplaceOcc ('$p' By ', ', '=2', Strict);
                                    If ($c Precedes $p And PreviousSub($p, '=2') != 'n') ReplaceOcc ('$p' By '. ', '=2', Strict);

                                    If ($c Precedes $n) Replace ('$n' By '. ', Strict) Else Replace ('$n' By '.$n')
// Info: Käsitellään 248
248$g           | 1', Strict) Else ReplaceOcc ('$D' By ' / ', '>1', Strict);
                                    RegReplace ('($D.*)$B', '\\1 : ', 'g');
                                    RegReplace ('($D.*)$R', '\\1 = ', 'g');
                                    RegReplace ('($D.*)$C', '\\1. ', 'g');
                                    If (Exists(@245$d) Or Exists(@248$d)) Then
                                    {
                                      while (RegFind ('$D.*$E') >= 0)
                                      {
                                        RegReplace ('($D.*)$E', '\\1 ; ', 'g');
                                      };
                                    }
                                    Else
                                    {
                                      while (RegFind ('$D.*$E') >= 0)
                                      {
                                        RegReplace ('($D.*)$E', '\\1 / ', 'g');
                                      };
                                    }

                                    // Info: Jos $n/$p on ennen $b:tä tai $b:tä ei ole, siirretään $n/$p $a:n perään
                                    If (RegFind('$b.*$[np]') < 0) MoveAfter('np', $a, 'np', '', '', ' : | / | ; |. | = ');

                                    // Info: G:n (n) ja H:n (p) vlimerkit
                                    Replace ('$G' By '.$G', Strict);

                                    // Info: Siirretään g ja h oikeille paikoille
                                    If (PreviousSub(@245$n, '>=1') != 'c' And PreviousSub(@245$p, '>=1') != 'c' And ExistsIn(S, $c)) MoveBefore('GH', $c, 'np', '', '', ' :| /| ;|.| =', 'BR');
                                    If ((Not ExistsIn(S, $n)) And (Not ExistsIn(S, $p)) And (Not ExistsIn(S, $b))) MoveAfter('GH', $a, 'np', '', '', ' :| /| ;|.| =', 'BR');
                                    Replace ('$G' By '$n');
                                    Replace ('$H' By '$p');

                                    If (ExistsIn(S, $c))
                                    {
                                      If (Exists(@245$d)) Then Replace ('$D' By ' ; ', Strict) Else Replace ('$D' By ' / ', Strict);
                                    }
                                    Else Replace ('$D' By ' /$c', Strict);

                                    If (Not ExistsIn(S, $b)) ReplaceOcc ('$B' By ' :$b', '=1', Strict);
                                    If (Not ExistsIn(S, $b)) ReplaceOcc ('$R' By ' :$b', '=1', Strict);
                                    Replace ('$B' By ' : ', Strict);
                                    Replace ('$R' By ' = ', Strict);
                                    Replace ('$C' By '. ', Strict);

                                    If (ExistsIn(S, $b)) MoveBefore('h', $b, 'h', '', '', ' :| /| ;|.| =') Else If (ExistsIn(S, $c)) MoveBefore('h', $c, 'h', '', '', ' :| /| ;|.| =');

                                    For (OCC From 1 To 3) While (PreviousSubIn(S, $n, '=OCC') = 'c' Or PreviousSubIn(S, $p, '=OCC') = 'c') {
                                      If (PreviousSubIn(S, $p, '=OCC') = 'c') {
                                        If (RegFind(S, '$c.*\\.$') < 0) ReplaceOcc('$p' By '. ', '=OCC', Strict) Else ReplaceOcc('$p' By ' ', '=OCC', Strict);
                                      }
                                      Else ReplaceOcc('$p' By ', ', '=OCC', Strict);
                                      If (RegFind(S, '$c.*\\.$') < 0) ReplaceOcc('$n' By '. ', '=OCC', Strict) Else ReplaceOcc('$n' By ' ', '=OCC', Strict);
                                    };

                                    RegReplaceTable('pieni-isoksi-osakentan-alussa.tbl')

Z48             | 245             | If (RegFind(D, '\\.\$') < 0) D + S Else D;
                                    Pvalimerkitys();
// ***245+248 PÄÄTTYY TÄHÄN***
⋮

Voihan tämän tehdä käsinkin, mutta voisi olla kiva että tietokone tekisi nämä luetteloijan puolesta.

Abstrakti silmäys kahteen kirjastoon (sis. emansipatorista ATK-nostatusta)

Posted on 2 tammikuun, 2011 by mace

Tämä kirjoitus käsittelee ATK:ta. Uskon että automaattisella tietojen käsittelyllä olisi kirjastoille annettavaa. Olen kaavaillut jotain menetelmää visualisoida kirjastokokoelmia. Olen onnistunut keräämään aiheesta muutaman datasetin, mutta varsinainen työ on jäänyt tekemättä, uloslukien analyysi Helsingin kaupunginkirjaston aihepakettien ajallisesta kattavuudesta. Sitäpaitsi en tiedä tilastoanalyysistä yhtikäs mitään. Mutta pyrkimyksenäni on ollut todistaa, että sitä voidaan tehdä heti kun haluamme.

Minusta tällainen on tärkeää.

Tänään jostain syystä innostuin, ja laadin kuvatukset kahden suunnilleen saman kokoisen Varsinais-Suomalaisen yleisen kirjaston kokoelmien luokkien jakautumisesta.

Kirjasto #1

Erään kirjaston kokoelman luokkajakauma

Suurimmat luokat ovat

84.2 (suomenkielinen kaunokirjallisuus)
85.3 (sarjakuvat)
85 (sadut. kuvakirjat. sarjakuvat)
85.1 (sadut)
82.2 (suomenkieliset runot)
99.1 (elämäkerrat. muistelmat)

Kirjasto #2

Erään toisen kirjaston kokoelman luokkajakauma

Toisen kirjaston kokoelma näyttää tältä, ja suurimmat luokat ovat

84.2 (suomenkielinen kaunokirjallisuus)
85.22 (suomenkieliset kuvakirjat)
78.8911 (rock)
85.32 (suomenkieliset sarjakuvat)
78.891 (popmusiikki)
85.12 (suomenkieliset sadut)

Näistä on leikattu pois kaikki luokat, joissa on alle 100 tietuetta. Voisi olla hyödyllisempää rajoittaa esim. luokan syvyyden perusteella vaikkapa pääluokkiin tai yhteen desimaaliin. Huomaa, että tässä olevien kuvajaisten värit eivät korreloi toistensa kanssa, vaikka vertailua ajatellen se olisi erittäin mukavaa. Lisäksi pikaisesti laatimani kuvajaiset ovat karseita lukea (voit kuitenkin avata kuvat isompina niitä klikkaamalla) ja ohjelmakoodissakin olisi paljon kehitettävää… itse asiassa laatimani ohjelma on erittäin karu, eikä edes piirrä noita kaavioita automaattisesti vaan tein ne itse taulukkolaskentaohjelmassa. Mutta kaavioiden tekeminen ohjelmallisesti ei todellakaan ole mikään ongelma. Niitä voisi laatia esim. GC-ohjelmointikirjastoa (ilmainen ja avointa lähdekoodia) tai gnuplotia (ilmainen ja avointa lähdekoodia) käyttäen. Molempiin löytyy tietenkin Perl-rajapinta (ilmaisia ja avointa lähdekoodia).

Käyttäjäystävällisyyden vuoksi nuo yleisen kymmenluokituksen (YKL) numeeriset kentät voisi suoraan automaattisesti muuntaa luokkien nimiksi; se onnistuisi ykl.kirjastot.fi -palvelua käyttäen. Kuvioiden tuijottelu olisi hauskempaa.

Käytin tähän MARC-siirtomuodossa olevia tietokantadumppeja, ensimmäisessä on noin 200 000 tietuetta ja toisessa 280 000. Molemmat sisältävät osakohteet. Poimin kummastakin dataläjästä 054‡a -kentät ja laskin eri arvojen määrät. Tuon datan käsittelyyn menee pieneltä, kohta pari vuotta vanhalta miniläppäriltäni noin 15 minuuttia yhteensä.

Mitä näistä voidaan päätellä? Ei ehkä mitään. Mutta ehkä jotain. Ainakin voidaan päätellä se (no tämänhän kaikki jo varmasti tietävätkin), että kokoelmanhallinnan työkaluja voi kehittää itse helposti ja ilmaiseksi. Ideoita ja työkaluja riittää niin paljon kuin haluaa. Lisäksi voidaan päätellä, että luetteloinnin on oltava hyvää, jotta tässä — tai tiedonhaussa yleensäkään on mitään järkeä. Mutta senkin me tiedämme jo erittäin hyvin.

Tuollaiset kuvajaiset voitaisi hyvin helposti (=automaattisesti ja halvalla) tehdä viikottain jokaiselle suomalaiselle kirjastolle. Ajan oloon nähtäisi miten kokoelmat ovat eläneet. Todella hyödyllistä olisi tehdä rinnalle vastaava analyysi asiakkaiden tekemistä lainoista ja katsoa miten ne korreloivat kirjaston kokoelmien kanssa.

Meillä on ollut kaikki tähän tarvittavat työkalut ilmaiseksi saatavilla vuosikausia. Vuosikymmeniä jopa! Itse käytin tällä kertaa Perliä (ilmainen ja avointa lähdekoodia), MARC::Record -moduulia (ilmainen ja avointa lähdekoodia), OpenOffice Calcia (ilmainen ja avointa lähdekoodia), Gimpiä (ilmainen ja avointa lähdekoodia), geditiä (ilmainen ja avointa lähdekoodia) sekä GNU/Linuxiin (ilmainen ja avointa lähdekoodia) perustuvaa Ubuntua (ilmainen ja avointa lähdekoodia). Koneelliseen käsittelyyn kehitetty MARC-luettelointiformaatti meillä on ollut olemassa 1960-luvulta.

Tätä ominaisutta et muuten löydä Axiell Aurora tai Innovative Millenium -järjestelmistä.

[edit 02.01.2011 katso myös Anna-Liisan Kirjasto-kaapelilla aloittama Tilastot kokoelmien hoidon tukena (credit: mace)]

Vilkaisu vuoteen 2011

Posted on 31 joulukuun, 2010 by mace

Vuosi vaihtuu. Katsotaas mitä on tulossa; itkutipaton tammikuu 2011 (pelkästään Facebookissa ilmoittauneita on peräti 454 henkilöä), järjestämämme Cycling for libraries -pyöräilykonferenssi Kööpenhaminasta Berliiniin tapahtuu alkukesästä, hyvin herkulliseksi hankkeeksi osoittautunut KDK tulee käyttöön alkaen yleisten kirjastojen osalta täältä Turusta ja sitten pian laajentuen. Tulevan vuoden aikana vaihdamme Varsinais-Suomen kirjastokimppamme Vaskin PallasPro -taustajärjestelmän Auroraan ja samalla FinMARC vaihtuu MARC21:een. Näiden järjestelmäuudistusten pistetään pystyyn myös julkaisujärjestelmä, nähtävästi siten että se on tulee OKM:n alaisten kirjastojen käytettäväksi.

Mitäs muuta? Rakenteilla oleva kirjastoalan yhteinen intranetti otetaan käyttöön, yhteisluettelo-hanke etenee ja Kirjasampokin saa ohjelmointirajapintojen lisäksi käyttöliittymän. Europeanan semanttinen tietomalli EDM astuu käyttöön ja e-kirjamarkkinat ehkä lämpenevät täällä Pohjolassakin. Itselläni on muutama koulutus jo sovittuna ja omat digitaalisen kulttuurin tutkimuksen opinnot jatkuvat Turun avoimessa yliopistossa. Toivottavasti pääsen käymään 77. IFLAn WLIC -konferenssissa Puerto Ricossa. Ja tietenkin asuinkaupunkini Turku on Euroopan kulttuuripääkaupunki ja luminen talvi lupaa sammakkomiesten mukaan kuumaa kesää. Vuoden ensimmäinen päivä on vieläpä caturday.

Kun tuota ylle koottua listaa katsoo, se näyttää saumattomalta. Loistavaa!

KDK:sta kirjoittelen kuulumisia täältä Turusta kohtapuolin. Pahoittelen ettei täältä ole vielä kuulunut julkisesti oikein mitään, vaikka olen ollut jo muutaman kuukauden Turussa. KDK:n on Twitterissä (@kdkhanke) ja asiakasliittymän etenemisestä saa uutisia sen omasta blogista, ottakaapa sekin seurantaan.

En nyt millään keksi kuvitusta tähän kirjoitukseeni joten menkööt ilman. Jos lukijoille tulee mieleen joku hyvä kuvitus, niin laittakaapa kommenttiin.

**** HYVÄÄ UUTTA VUOTTA TYYPIT ****

Kohan suomennos on nyt jossain vaiheessa

Posted on 30 maaliskuun, 2010 by mace

Tässä talven mittaan on ollut meneillään epämuodollinen ja aika impulsiivinen Kohan suomennos. Vielä keskeneräinen käännös on nyt jonkin aikaa ollut näkyvillä Labs.kirjastot.fi:n tarjoamassa Koha-asennuksessa , eli osoitteessa http://koha.kirjastot.fi. Se on toiminnalliselta puolelta melkolailla suomenkielinen. Kommentteja vastaanotetaan.

Aineistona tuossa Koha-asennuksessa on Project Gutenbergin sisältö. Auktorisoitua asiasanastoa ei tässä vaiheessa tosin ole, sellainen tarvittaisi kyllä sekä suomennoksen testaamiseksi että muutenkin. Onko kellään ideoita miten sellaisen saisi haltuunsa ja miten sen kikkailisi Kohaan? Periaatteessa yksi hailee mikä asiasanasto, mutta YSA olisi varmaan käytännönläheisin Kohan testailuun. Pitäisi varmaan fiilailla tuota testi-Kohaa parempaan esittely- ja demoilukuntoon.

Aloitin myös KirjastoWikiin sivun Kohan suomentamisesta.

Ja kysytäämpä vielä täälläkin: mikä sinusta on ”tag” suomeksi? ”Tagi”, ”tägi” ja ”avainsana” ovat ne ilmeiset ehdokkaat. Merkkasin nuo KirjastoWikissä olevaan termitaulukkoon, käykääpä äänestämässä tuon termin suomennosta laittamalla plus- (+) tai miinus (-) -merkkejä tuohon taulukkoon. Samalla voi kurkistaa ko. wikisivun rinnalla käytävää keskustelua.

Jos ei vielä ole selvää, niin Koha on avoimen lähdekoodin kirjastojärjestelmä. Siis vähän niin kuin PallasPro, Origo, Voyager, Aleph, Innovative Millenium ja tuleva Axiell Aurora, mutta ohjelman toiminta ei ole salaisuus. Esim täältä voi katsoa ja muokata miten haku ihan oikeasti toimii ja mitä relevanssialgoritmi tekee.

Suomennetaas piruuttaan toi Koha

Posted on 21 helmikuun, 2010 by mace

Aloitimme viime viikolla Kohan suomentamisen. Nyt käännetään aineistoluettelon l. näyttöluettelon l. OPACin l. verkkokirjaston puoli, eli se asiakkaille näkyvä osa. Työn alla on Koha 3.0:n OPAC.

Meillä on pieni ryhmä Google Groupsissa jossa on puitu terminologiaa. Kohasta on muutenkin tullut sähköpostiteltua tässä talven mittaan muutaman suomalaisen kirjastoaktivistin sekä sellaisten kirjastojen kanssa, joissa se on käytössä. Niitä ei tosin ole montaa kappaletta. Mutta riittävän monta, jotta suomeksi kääntäminen kannattaa tehdä (eli enemmän kuin 0 kpl). Kerran kääntämisestä hyötyvät kaikki, mutta voi olla olemassa monta erilaista suomennosta. Itse teen työtä Kirjastot.fi:n Labs-hankkeen nimissä ja Labs onkin asentanut Kohan kaikkien niiden kokeiltavaksi, joita kyseinen avoimen lähdekoodin kirjastojärjestelmä kiinnostaa. Myös Evergreen on asennettu tutkittavaksi. Teen suomentamista ”virkamiestyönä”, eli ilman mitään erityistä projektisuunnitelmaa tms. sekoilua. Virkamiestyön ja talkootyön ero on hienonhieno 🙂 En tiedä miten muut Kohan suomentamisessa mukana olevat ovat omaa työtään organisoineet, eikä oikeastaan kiinnostakaan – kunhan saadaan jotain aikaan ja hyvä pysyy kierrossa. Koha käyttää PO-tiedostoja ja kääntämistä eri kielille tehdään Pootle -ympäristössä. Tai voi muitakin käännöstyökaluja käyttää jos haluaa, mutta ainakin tässä vaiheessa tuo Pootle on osoitteutunut näppäräksi.

Tässä käännöshankkeessa on muutamakin kiehtova puoli. Ensinnäkin tämä on konkreettnen osoitus siitä, miten avoin lähdekoodi ja yhteisöllinen kehittäminen yleensäkin toimii. Uskoisin, että tuota Kohan OPACin suomennosta päästään kokeilemaan ensi viikon loppupuolella. Vertailun vuoksi HelMet-alueella on vähän aikaa sitten otettu käyttöön Innovativen mobiilituote AirPAC, joka on siis käytännössä helmet.fi -sivusto älypuhelimille sopivammassa muodossa. Se on saatavilla Innovativelta vain englanninkielisenä. Niinsanotusti kansainvälinen versio on pääkaupunkiseutulaisten käytössä ehkä 2012. Todellisuudessa kääntäminen varmasti sujuisi päivässä parissa, jos siihen vain olisi mahdollisuus. Pointti on, että avoimen lähdekoodin ohjelmistoissa ei ole mitään yhtä tahoa, joka voi estää halukkaita tekemästä omasta ja toisen elämästä parempaa.

Toinen kiehtova puoli Kohan kääntämisessä on se, että edes hieman mahdollistaa kirjastojärjestelmistä ja niiden valitsemisesta keskustelemista. Tilannehan on Suomen yleisissä kirjastoissa nyt se, että järjestelmätoimittajia on tasan yksi kappale. Axiell. No pääkaupunkiseutu uloslukien. Ei minulla periaatteessa ole mitään Axiellia vastaan, mutta sitä vastaan on, ettei ole mitään vaihtoehtoja joista edes keskustella, tai joihin verrata käytössä olevaa järjestelmää. Tulevaisuudessahan se tulee olemaan Axiellin Aurora, kun Axiell siirtää Pallas ja Origo -asiakkaansa siihen.

	ดูหนังโป๊ออนไลน์: Jean-Noël Jeanneney: Google–An…
	Keitä meillä palvell…: Oletko kirjaston asiakas vai…
	mace: Open Access Button – raportoi…
	Hannu: Open Access Button – raportoi…
	Kalle: Mitä on tietokannan ja datan…
	mace: Helsingin kaupungin tietokesku…
	Heikki Poroila: Sillävälin internetissä: musii…
	Erja: Paljon onnea tämä blogi 5…
	mace: E-kirjat kotiinkuljetettuina
	mace: Hesari 18.02.2013: ”Kirj…
	Liina: Hesari 18.02.2013: ”Kirj…
	Kari Blomster: Four Shades Of Grey
	Kari Blomster: Trancend Lex Karpela
	Jarppi: Mitä on tietokannan ja datan…
	Petri: Mitä on tietokannan ja datan…

Riippumaton asiantuntija

Tag Archives: axiell aurora

Avoin vastaukseni Googlelle suomalaisen bibliografisen kirjastodatan saatavuudesta

PIKI-kirjastojen tietokantapöyhintäni lähdekoodi, työpäiväkirja ja raportti julkistettu

Esittelyssä kirjastojen avoin rajapinta SRU

Kaksi avoin data -sovellusta tällä viikolla: tuplakontrolli ja VuFind

Case 1: tuplakontrollia

Case 2: verkkokirjaston pystyttäminen

Tein esittelyvideon ehdottamastani issue trackeristä

Axiell saa palautetta; miten parannettaisi tilannetta?

Kopioluettelointi on ehkä hajoamassa

Abstrakti silmäys kahteen kirjastoon (sis. emansipatorista ATK-nostatusta)

Kirjasto #1

Kirjasto #2

Vilkaisu vuoteen 2011

Kohan suomennos on nyt jossain vaiheessa

Suomennetaas piruuttaan toi Koha

Arvioi tämä:

Arvioi tämä:

Arvioi tämä:

Case 1: tuplakontrollia

Case 2: verkkokirjaston pystyttäminen

Arvioi tämä:

Arvioi tämä:

Arvioi tämä:

Arvioi tämä:

Kirjasto #1

Kirjasto #2

Arvioi tämä:

Arvioi tämä:

Arvioi tämä:

Arvioi tämä: