Apache Tika: un toolkit Java per l’analisi del contenuto dei documenti digitali

Apache Tika è un progetto Open Source che ha come obiettivo l’estrazione del contenuto testuale e dei metadati da vari tipi di formati di dati (quali ad esempio documenti word, pdf, excel ma anche da immagini e file audio), il tutto utilizzando delle librerie di parsing esterne (cioè già sviluppate e pronte all’uso).

Tra le altre funzionalità del toolkit vi è quella di poter riconoscere il tipo di formato di file che si sta analizzando e la lingua utilizzata.

Inizialmente era un sotto-progetto di Apache Lucene ma col tempo è diventato un progetto a sé stante, possiamo trovare i riferimenti e la pagina di download a questo indirizzo:

http://tika.apache.org/

la versione che utilizzeremo in questo articolo è la 0.9 .

A differenza di molti progetti Apache non viene fornita una versione binaria (un jar per inderderci) che possa essere subito utilizzato nelle nostre applicazione, ma il progetto va sottoposto a processo di build utilizzando il toolkit Maven.

Ottenuto Maven e dopo esserci posizionati nella cartella principale di Tika (i sorgenti li possiamo scaricare qui: http://www.apache.org/dyn/closer.cgi/tika/apache-tika-0.9-src.zip) non resta che dare il comando:

mvn install

Prima di dare il comando, per evitare errori di superamento della memoria disponibile (Error – Java Heap Size error), incrementiamo lo heap size:

set MAVEN_OPTS=-Xmx256m

completato il processo di building, otteniamo una directory in cui abbiamo diversi jar:

• tika-core/target/tika-core-0.9.jar: contiene le classi e le interfacce core di Tika ma nessuna implementazione dei Parser, l’unica dipendenza è una JVM 1.5;
• tika-parsers/target/tika-parsers-0.9.jar: una collezione di classi che implementano la interfaccia Parser e si basano su una serie di librerie di parsing esterne (quali Apache POI);
• tika-app/target/tika-app-0.9.jar: combina i due jar di sopra in un singolo jar eseguibile da riga di comando e di cui ne esiste anche una versione con GUI;
• tika-bundle/target/tika-bundle-0.9.jar: un bundle OSGI utilizzabile all’interno di un ambiente OSGI.

I parser disponibili sono elencati in questa tabella [1]:

E’ possibile utilizzare il toolkit anche come tool stand alone utilizzando il jar tika-app-0.9.jar; posizioniamoci nella directory base e diamo il comando:

java -jar tika-app/target/tika-app-0.9.jar --help

otterremo una breve guida sull’utilizzo del toolkit:

Output del comando help

Possiamo provarne l’utilizzo dando come parametro il nome del file da analizzare, ad esempio utilizziamo il file README.txt che si trova nella stessa directory principale:

java -jar tika-app/target/tika-app-0.9.jar README.txt

di default viene assunta l’opzione -x  (preposta al nome del file) quindi viene fornito l’output come formato XHTML, se lo vogliamo in testo pure diamo l’opzione -t, se vogliamo invece conoscere i metadati del file diamo l’opzione -m:

I metadati estrapolati dal file README

Utilizziamo ora le librerie jar all’interno di un progetto Java che realizzeremo utilizzando Eclipse.

Creiamo un nuovo Progetto Java in Eclipse (File -> New -> Java Project), creiamo una cartella lib e vi copiamo le libreria tika-core-0.9.jar, tika-parsers-0.9.jar e tika-app-0.9.jar, per cui avremo le seguenti librerie nella cartella lib (non dimentichiamoci di includerle nel Build Path del nostro progetto: click col tasto destro -> Build Path -> Configure Build Path):

• tika-core-0.9.jar;
• tika-parsers-0.9.jar;
• tika-app-0.9.jar.

Creiamo unaclasse Java TikaExample e scriviamo il codice seguente:

package it.appuntisoftware;

import java.io.File;
import java.net.URL;
import org.apache.tika.Tika;
import org.apache.tika.language.LanguageIdentifier;
import org.apache.tika.metadata.Metadata;

public class TikaExample {
  public static void main (String args[]){
    File file;
    try {
         file = new File("C:/nomedirectory/nomefile.doc");
         URL url = file.toURI().toURL();
         Tika tika = new Tika();
         String content = tika.parseToString(file);
         LanguageIdentifier ld = new LanguageIdentifier(content);
         System.out.println("Lingua        :t"+ld.getLanguage());
         Metadata met = new Metadata();
         tika.parse(url.openStream(), met);
         System.out.println("Tipo File     :t"+met.get(Metadata.CONTENT_TYPE));
         System.out.println("Titolo        :t"+met.get(Metadata.TITLE));
         System.out.println("Autore        :t"+met.get(Metadata.AUTHOR));
         System.out.println("Numero pagine :t"+met.get(Metadata.PAGE_COUNT));
         System.out.println("Data Creazione:t"+met.get(Metadata.CREATION_DATE));
         } catch (Exception e) {
         System.out.println( e.getLocalizedMessage() + " " + e.getCause());
         }
    }
}

Non ci resta che provare a lanciare il nostro programma tramite tasto destro sul progetto e poi Run as-> Java Application e vederne l’output, nel mio caso ottengo:

Lingua        :	it
Tipo File     :	application/msword
Titolo        :	Test per Tika
Autore        :	AppuntiSoftware.it
Numero pagine :	3
Data Creazione:	Fri Apr 30 11:22:00 CEST 2010

Basta cambiare il nome ed il percorso del file con il proprio esempio.

E’ inoltre possibile estrarre il contenuto di pagine web andando ad eliminare la conversione da File a URL, ed utilizzando un oggetto di tipo URL direttamente:

URL url= new URL("http://tika.apache.org/");

Per poter estrarre il contenuto di un qualsivoglia documento basta utilizzare la riga di codice:

String content = tika.parseToString(file);

nella variabile content avremo il contenuto del file in esame.

Riferimenti

[1]Understanding information content with Apache Tika: http://www.ibm.com/developerworks/opensource/tutorials/os-apache-tika/