Avoin vastaukseni Googlelle suomalaisen bibliografisen kirjastodatan saatavuudesta

Google

Sähköpostissani oli Cycling for librariesista palatessa tälläinen viesti Googlelta

From: Google
To: Mace
Subject: VASKI feed?

Hei,

terveisiä Googlelta.

Olen Googlen kirjahakuprojektissa mukana, ja osa sitä on erilaisten kirjatietokantojen haaliminen. Huomasin VASKI-dumpin täällä http://data.kirjastot.fi/data.html mutta se on jo vuodelta 2010. Tiedätkö onko siitä mahdollisesti uudempaa versiota, vai olisiko peräti saatavilla säännöllinen dumppi?

Huomasin myös Helmet-datan, mutta sen CC-BY tekee siitä hieman hankalammin käytettävän

Lyhyet vastaukset kysymyksiin:

• valitettavasti ei
• pahoittelen, CC0 tiedetään kyllä sallivammaksi lisenssiksi

Kirjastojen bibliografinen metadatahan on hajaantunut sinne tänne, eikä ole mitään yhteistä laaria josta sitä voisi itselleen hankkia. Lähimpänä tällaista yhteisluetteloa lienee BTJ:n AllFons -palvelu ja suomenkielisen kirjallisuuden osalta kansallisbibliografia Fennica. Tulevaisuudessa ehkä sitten Melinda ja KDK, kunhan ne saadaan kasattua. Molemmat ovat sitoutuneet avoimeen dataan. Esimerkiksi Saksan kansalliskirjasto on kunnostautunut datansa saatavuuden osalta.

Googlen Knowledge Panel

Tässä vielä taustaa, tilannekatsaus sekä näkemyksiäni kirjastojen avoimeen (bibliografiseen) dataan:

Vaskin osalta tilanne on tällä hetkellä se, että alkuperäisen, itse kätilöimäni avoimena datana julkaisun jälkeen dumppia ei ole päivitetty ja avoin data ei ilmeisesti ole strategista toimintaa Vaskissa. En ole siellä enää töissä, joten parhaiten ja virallisesti asiaan osaa organisaation näkökulmasta vastata palvelujohtaja Ulla-Maija Maunu (sähköposti muotoa etunimi.sukunimi@turku.fi). Jos kirjastojen bibliografisesta datasta olisi uudempia versioita olemassa, ne olisivat tuolla http://data.kirjastot.fi/data.html:ssä, joka on kirjastojen yhteinen, simppeli ”datarepositorio”. Olen lähettänyt Vaskin datan myös Datahubiin.

Pääkaupunkiseutua ja joitain muita poikkeuksia lukuunottamatta muissakin Suomen yleisissä kirjastoissa data asustaa järjestelmäpalvelua tarjoavan Axiellin siipien suojissa. Kirjastot saavat omat datansa sieltä käyttöönsä Axiellin kirjastojärjestelmien kuten Auroran, PallasPron tai Origon kautta sekä niihin liittyvien web-liittymien kautta, sekä SRU-ohjelmointirajapinnalla johon pääsy tuppaa nyt Auroraan siirtymisen myötä olemaan rajoitettua. Pääsyn omaan raakaan dataansa kirjasto voi ostaa Axiellilta kuten marras-joulukuussa 2012 tekemässäni PIKI-tietokannan siivousmenetelmät -hankkeessa tehtiin (kts. projektinhallintatyökalun+työpäiväkirjan issue #3325). Axiellilta voi kysellä toimitushalukkuutta, -aikoja sekä -hintoja, ja katsoa lisäksi yllä mainitun PIKI-casen raportin talousosiota.

Axiellin Origo-järjestelmää käyttävät kirjastot ovat hyvässä asemassa, sillä ne voivat itse ottaa bibliografisen datansa ulos MARC-muodossa. Myös akateemisissa kirjastoissa, AMK:ien kirjastoissa sekä Kansalliskirjastolla on myös aika hyvät oltavat, koska ne pystyvät siirtelemään (ainakin bibliografista) dataansa ulos Voyager ja Aleph-järjestelmistään aika kitkattomasti.

Kansalliskirjaston liidaaman Kansallinen Digitaalinen Kirjasto -hankkeen on ollut tarkoitus saada datat liikkeelle kirjastojen omista järjestelmistä, ja se onkin edellytys koko KDK:n toiminnalle. Sama pätee EU:n Europeanaan. Lyhyesti sanoen sekä KDK että Europeana molemmat pyrkivät yhdistämään kirjastojen (sekä arkistojen ja museoiden) haut yhteen weppisivustoon. Syksyllä 2010 Turkuun lähtiessäni toivottiin OAI-PMH haravointirajapintaa yleisten kirjastojen bibliografisen datan siirtelyyn, mutta tietojeni mukaan tilanne on edelleen sama kuin Turusta lähtiessäni 2012 kesällä, eli Axiell ei valitettavasti ole saanut sitä vielä toimitettua. Kansalliskirjasto jo ostikin kaikille yleisille kirjastoille ja maksettua hintaa voi kysellä Kansalliskirjastolta tai Opetus- ja kulttuuriministeriöstä (KDK:n blogikirjoitus aiheesta ei valitettavasti ole enää saatavilla, valitettavaa ja hieman ironista sinänsä). Aihetta käsitellään Vaski-kirjastojen KDK-asiakasliittymän piloinnin loppuraportissa.

Tuo on siis tilanne käytännön datan liikuttelun kannalta. Helsingin alueella Helsinki Region Infoshare on kunniakkaasti edistänyt avoimen datan etenemistä, ja sen toiminta on nyt vakiintumassa osaksi Helsingin kaupungin Tietokeskusta. Siitä on tietenkin vielä paljon, paljon matkaa siihen, että virastojen, kuten Helsingin kaupunginkirjaston data oikeasti liikkuisi niin näppärästi kuin sen pitäisi. Helsingin kaupunginkirjastolla voinee jutella Jussi Vehviläisen ja Antti Pakarisen kanssa, HRI:llä Ville Melonin ja Tietokeskukselta löytynee joku myös.

Paljon puhuttujen immateriaalioikeuksien osalta tilanne on selvä, sillä kirjasto on itse tietokantansa sisällön ylläpitäjä (ei Axiell eikä sisällöntuottaja BTJ tai Kirjavälitys), ja näinollen myös immateriaalioikeuksien omistaja (Tekijänoikeuslaki 49 §). Lisäksi tekijänoikeuslaki takaa sille jolla on oikeus käyttää tietokantaa myös oikeuden tehdä siitä kappaleita (25 j § mom. 4), ja erikseen kumoaa lisenssiehdot jotka pyrkivät haittaamaan tätä (25 j § mom. 5). Lisäksi joku keskeinen oikeus päättyy 15 vuoden päästä tietokannan yleisölle saattamisen jälkeen (49 § mom. 2), mutta minulle on hieman epäselvää tarkalleen mikä.

Kollegiaalisia terveisiä sinne Googlelle lähettäen

Mace

Advertisement

Helsingin kaupungin tietokeskuksessa (ml. Helsinki Region Infoshare) urkkimassa

Helsingin kaupungin tietokeskus

Olin huhtikuun 23. tutustumassa Helsingin kaupungin tietokeskuksen toimintaan. Hyvä että töissä kehotetaan nuuskimaan vähän muualla, Kirjasto 10:stä on oltu esim. Kaupunginkirjaston tapahtuma- ja markkinointiyksikössä, Arabian ja Tapanilan kirjastoissa ja hankinnassa.

Olen käynyt Ympärätalossa sijaitsevassa Tietokeskuksen kirjastossa jokusen kerran in-cognito nuuskimassa, ja tunnen Tietokeskuksen ja Forum Viriumin yhteistä Helsinki Region Infoshare -hanketta (HRI) sen voimakkaan roolin vuoksi, jonka se on ottanut suomalaisessa avoimen datan (so. open data) parissa tässä parin vuoden ajan. Lämpimiä terveisiä sinnepäin!! Muutoin Tietokeskus on ollut minulle sangen tuntematon elin.

Helsingin kaupungin tietokeskuksen historia yltää peräti sadan vuoden päähän ja tuoreimman vuosikertomuksen (varo PDF) mukaan siellä on hyvä meininki.

Helsingin kaupungin tietokeskus on tilaston, tutkimuksen ja arkistotoimen asiantuntija- ja vastuuorganisaatio. [Se] hankkii, tutkii, välittää ja säilyttää tietoa Helsingistä ja sen alueista – nykyhetkestä, menneisyydestä ja tulevaisuudesta.

Tietokeskuksen, tuttavallisemmin Tieken webbisivut löytyvät osoitteesta http://www.hel.fi/hki/Tieke/fi/Etusivu, ja kaupungin Helmi-intrassa on heillä oma osionsa myös. Tietokeskuksessa on oma kirjasto, jonka olemassaolo oli minulle jonkinlainen mentaalinen hyppylauta tutustumiskäynnille. Kirjastossa työskentelee kolmisen henkilöä, Tiekessä kokonaisuudessaan joku viitisenkymmentä. Kyselin kyllä kaikkien kirjastoihmisten koulutus- ja työtaustat mutta valitettavasti unohdin ne jo. Tietokeskuksen kirjasto palvelee sekä tietokeskusta itseään, mutta on myös avoin kaikille. Avoimuus on näin yleisen kirjaston piirissä kasvaneen kannalta hieman erilaista, sillä Tietokeskus on lukittujen ovien takana. Anyways niille jotka haluavat siellä käydä, sisäänkäynti on Ympyrätalon nurkalla. Kirjaston henkilökunnan mukaan tietopalveluhommia hoidetaan pitkälti sähköpostitse. Kirjaston kokoelmaa käyttää lähinnä Tietokeskuksen oma väki, joskin tutkijoiden ja muiden tyyppien kiinnostus kirjastoon tilattuja lehtiä (varo PDF) kohtaan jättää toivomisen varaa. Minun on ulkopuolisena vaikea arvioida miten hyvin Tietokeskus kirjastoaan hyödyntää, ja millainen rooli kirjastolla todellisuudessa on. En sen tarkemmin tivannut Tietokeskuksen henkilökunnalta. Sinällään kirjasto sijaitsee fyysisesti hyvällä paikalla, Tietokeskuksen pitkän, kaarevan käytävän varrella.

Hyllyjä. Kirjastossa pitää olla hyllyjä

Tietokeskuksen kirjaston tietokanta löytyy verkosta, ja järjestelmänä on PrettyLib. Yksi mietittävä asia on, olisiko hyvä että Tietokeskuksen kirjaston kaltaiset kirjastot olisivat mukana HelMetissä tm. alueellisessa konsortiossa… Vaskissahan niitä on ollut, samoin PIKissä. Ja (Me)linda ja KDK -yhteydet tulevat mieleen myös. Ovat kuitenkin mukana suomalaisten erikoiskirjastojen verkostossa.

Helsinki Region Infoshare

Tapasin Tietokeskuksella myös HRI:n Ville Melonin sekä Hami Kekkosen. Siihen liittyykin mukavia uutisia, nimittäin kolmivuotisen HRI -projektin hartiavoimin puskemat avoin data -jutut juurrutetaan Tietokeskukseen. Tämä on tietenkin hieno homma, ja auttaa meitä muita virastoja saamaan datamme liikkeelle. Helsingin kaupunginkirjastolta onkin jo jonkin verran dataa liikkeellä, ja katalogista löytyvää, muidenkaan julkaisemaa dataa ei tarvitse kauaa selailla ennenkuin tulee ideoita miten sitä voisi käyttää omiin tarpeisiin. HRI:n ylläpitämä datakatalogi varmaankin siirtynee Tietokeskuksen haltuun. Rönsynä todettakoot, että paraikaa Gentissä meneillään olevassa ELAG -konferenssissa (Twitterissä #elag2013) oli työpaja kirjastojen suhteesta tutkimusdataan, ja siellä Joss Winn puhui datakatalogiohjelmisto CKANista ja sen kehittymisestä. ELAGin videotaltionnit tulevat nettiin ensi viikolla.

Avoin data on monille tätä lukeville varmaan suunnilleen tuttu ilmiö, josta lisää esim. HRI:n sivuilla. Datan avaaminen on helppoa ja pakollista (ja hauskaa), ja HRI johdattelee kädestä pitäen. Avoin data helpottaa datan käyttöä sekä oman viraston ulkopuolella (esim. Tietokeskuksessa tai tutkimuksessa), sekä myös viraston sisäpuolella (esim. luettelointitoimiston ulkopuolella).

HRI:n lisäksi Tietokeskuksella käynnissä ehkä mielenkiintoisinta oli kaupunkitutkimuksen tutkimusohjelma Tietoa Stadista. Sitä on tehty muutaman vuoden välien (nyt 2010-2015).

Kaupunkitutkimusosaston toiminnan päälinjat ja keskeiset tutkimushankkeet määritellään kaupunginhallituksen hyväksymässä Helsingin kaupungin tutkimusohjelmassa. Tutkimusohjelma tehdään joka kolmas vuosi, ja sen keskeisenä tavoitteena on paitsi suunnata kaupungin tutkimusvoimavarat tehokkaasti ja tuloksellisesti, myös aktivoida, koordinoida ja konkretisoida Helsingin harjoittamaa tutkimusyhteistyötä.

Sisällysluettelo tässä (sori kopipeistattu joten näyttää vähän pahalta)

1. TILASTO- JA TUTKIMUSTOIMINNAN STRATEGISET SUUNNAT VUOSILLE 2011–2015 11
   1. TIETO PÄÄTÖKSENTEON TUKENA 11
   2. TILASTO- JA TUTKIMUSTOIMINNAN ORGANISOINTI 12
   3. VAHVISTUVA KORKEAKOULUYHTEISTYÖ 13
   4. SEUTUYHTEISTYÖ JA LAAJENEVA TIETOPALVELU 14
   5. TIEDON SAANNIN TURVAAMINEN JA YHTEISTYÖ TIEDON TUOTTAJIEN KANSSA 15
   6. KANSAINVÄLINEN TOIMINTA 15
   7. TIETOJEN KÄYTETTÄVYYS JA JULKAISEMINEN 16
   8. HELSINKI-TIEDON KESKEISET TEEMAT 18
2. 2. HELSINGIN KAUPUNGIN TILASTO-OHJELMA 2011–2013 21
   1. HELSINKI-TILASTON VAKIINTUNEET TUOTTEET JA PALVELUT 21
      1. PERUSTIETOVARANNOT JA TILASTOJULKAISUT 21
      2. TIETOKESKUKSEN YLLÄPITÄMÄT TIETOJÄRJESTELMÄT JA PAIKKATIETOJEN KEHITTÄMINEN 25
      3. TIETO- JA ASIANTUNTIJAPALVELUT 26
      4. ASIANTUNTIJOIDEN VERKOSTOT JA YHTEISTYÖKUMPPANIT 27
   2. HELSINKI-TILASTON KEHITTÄMISHANKKEET VUOSILLE 2011–2013 28
      1. ASUMINEN, KAUPUNKIRAKENNE JA YMPÄRISTÖ 28
      2. HYVINVOINTI, TERVEYS JA PALVELUT 32
      3. KUNTATALOUS, TYÖMARKKINAT JA KILPAILUKYKY 35
      4. PERUSTIETOVARANTOJEN KEHITTÄMINEN 36
      5. TIETOVARANTOJEN AVAAMINEN, HALLINTA JA KÄYTETTÄVYYDEN PARANTAMINEN 37
3. 3. HELSINGIN KAUPUNGIN TUTKIMUSOHJELMA 2011–2013 38
   1. 3.1 ASUMINEN, KAUPUNKIRAKENNE JA YMPÄRISTÖ 39
   2. 3.2 DEMOKRATIA JA HALLINTO 45
   3. 3.3 HYVINVOINTI, TERVEYS JA PALVELUT 48
   4. 3.4 KAUPUNKIKULTTUURI 55
   5. 3.5 KUNTATALOUS, TYÖMARKKINAT JA KILPAILUKYKY 59

Ohjelma löytyy netistä (varo PDF), ja on kiinnostavaa luettavaa. Siitähän selviää mitä tietoa Helsingistä on tiedossa, eli metatietoa siitä mitä tietoa meillä on tulevaisuudessa. Ohjelma on kehitetty koko Helsingin kaupungin laajuisena yhteistyönä, joten kaupunginkirjastollakin on ollut mahdollisuus vaikuttaa ja osallistua siihen. Ohjelmaa lukiessa selviää millaisten toimijoiden kanssa Tieke tekee tutkimusyhteistyötä. Linkkaan tässä nyt tilaisuuden tultua Jaani Lahtisen tammikuiseen luentoon Lainaustiedot kirjaston johtamisen työkaluna.

Tietokeskuksen muista julkaisuista mainittakoot Helsingin tila ja kehitys 2013 (varo PDF), neljännesvuosittain julkaistava Kvartti, sekä Helsingin seudun aluesarjat -tietokanta (sis. raakaa dataa)

Vierailuni päättyi eläväiseen kierrokseen kaupunginarkistossa, joka on myös osa Tietokeskusta. Kiitos vieraanvaraisuudesta ja virka-avusta Tietokeskukseen!

Helsinki

Bibliografinen data on blääh, meillä on parempaakin

Mitä kaikkea dataa kirjaston itse kannattaa ylläpitää?

Mitä Lukas sanoi, bibliografinen metadata ja kuvailutiedot eivät ole kiinnostavinta dataa mitä meillä kirjastoilla on. Se on itseasiassa aika tylsää faktojen luettelemista ja se voidaan tuottaa, säilöä ja ylläpitää keskitetysti, ja jopa ostaa kuten tapana onkin (BTJ:ltä).

Bibliographic metadata as such describe publications, in the broadest sense, providing information about title, authors, subjects, editions, dates, urls, but also physical attributes like dimensions, number of pages, formats, etc. This type of information, in FRBR terms: Work, Expression and Manifestation metadata, is typically shared among a large number of libraries, publishers, booksellers, etc. ‘Shared’ in this case means ‘multiplied and redundantly stored in many different local systems‘. It doesn’t really make sense if all libraries in the world publish identical metadata side by side, does it?

Se mikä sensijaan oikeasti on mielenkiintoista, on paikallinen käyttödata sekä niteistä ja kokoelmista kertova data.

Currently, library data that is really unique and interesting is administrative information about holdings and circulation. After having found metadata about a potentially relevant publication it is very useful for someone to know how and where to get access to it, if it’s not freely available online. Do you need to go to a specific library location to get the physical item, or to have access to the online article? Do you have to be affiliated to a specific institution to be entitled to borrow or access it?

Usage data about publications, both print and digital, can be very useful in establishing relevance and impact. This way information seekers can be supported in finding the best possible publications for their specific circumstances.

Tästä on Suomessakin ollut puhetta tietyissä piireissä. Mitään kehitystä tähän suuntaan ei ole kuitenkaan otettu eikä toistaiseksi ole näkyvissäkään. Ehkä sitten, kun yhteisluettelo kansallinen metadatavaranto (”Melinda”), KDK:n asiakasliittymä, Axiell Arenan kansalliset ulottuvuudet tai jokin vastaava valmistuu ja teostaso voidaan kokonaan siirtää veke kaikista kirjastoista ja tehdä haut yhteen indeksiin (ja rajata halutuin ehdoin, esim. kuuluuko teos oman kirjastoni kokoelmaan), voidaan ruveta miettimään tällaisia asioita.

Lukekaa Lukaksen kirjoitus Local library data in the new global framework, jossa Lukas kertoo paikallisdatan merkityksestä tarkemmin ja myös esittelee malleja miten homman voisi toteuttaa.