Ricerca Supernovae: La Creazione dei master - Osservatorio Astronomico Hypatia

Come spiegato nell’articolo dedicato alla ricerca di supernovae, una delle difficoltà maggiori che ho incontrato durante la stesura di alcune procedure era relativa alle verifiche di una ripresa tramite immagini di riferimento, i cosiddetti “Master”. La procedura non è cortissima da spiegare ma è semplice da effettuare, per cui mi scuso in anticipo se questo articolo risulterà particolarmente prolisso. Essendo un tutorial, non mi è possibile accorciare perchè ho piacere che l’argomento venga ben compreso.

La procedura tipica di una sessione di ricerca supernovae prevede che in una serata vengano rilevate immagini di (n) galassie. Dopodichè queste immagini vengono confrontate con immagini Master (chiamate anche immagini di riferimento), in modo da poter osservare immediatamente se ci sono le ambite supernovae, o tramite blinking tra le due immagini o tramite sottrazione del master alla immagine ripresa.

Questa azione, molto semplice da effettuare e che è possibile automatizzare, funziona a meraviglia a patto però di avere delle immagini di Master ben fatte e ben centrate. Nel tempo ho cercato diversi metodi per ottenerle, con non poche difficoltà per il mio livello di conoscenze (non sono un informatico e nemmeno un ricercatore). In particolare, sono tre le modalità utilizzabili per la maggiore:

a) assegnazione al ruolo di “Master” di un’immagine ripresa: in pratica, una volta rilevata una galassia, l’immagine ripresa la possiamo utilizzare come Master per le rilevazioni successive. Questo metodo non mi ha convinto, in quanto le galassie che vengono rilevate a frame singolo per un’esposizione di 60 secondi non forniscono una apprezzabile qualità e sono affette da difettosità di diverso tipo, in parte dovute dalla qualità del cielo che ovviamente non è sempre dei migliori. Inoltre si rischia che un non perfetto allineamento dell’immagine ripresa vanifichi lo sforzo di ottenere numerosi master.

b) Download dei Master da catalogo DSS durante la survay: questo metodo è simile al terzo che andrò a spiegare e che è quello che ho utilizzato. In pratica è possibile lanciare delle query ai siti di catalogo (ad esempio Symbad) ed ottenere delle immagini scaricabili. Oppure affidarsi a programmi quali “Ricerca” di Salvatore Massaro che permettono di scaricare l’immagine master di riferimento in base alla galassia puntata per un confronto diretto. Il problema di questo metodo è che allunga non di poco i tempi di ripresa tra una galassia e l’altra, e se ci si trova in osservatori non dotati di connettività adsl (come quello che frequento io) diventa molto complesso ottenerli tramite chiavetta internet USB. Ovviamente, sempre nel mio caso, il consumo di banda aumenta notevolmente al punto che si rischia di poter fare solo qualche survay al mese dopodichè bisogna aspettare di poter ricaricare i Gigabye di connettività. Impensabile. Mentre la scrittura manuale di una query impone anche la scrittura di tutte le galassie rilevate, con tanto di coordinate e campo inquadrato e se consideriamo che in una nottata è possibile arrivare a riprensere almeno un centinaio di galassie ecco che il lavoro di “verifica” diventa eccessivamente complesso; col risultato che, nel caso in cui il confronto abbia restituito un risultato positivo, probabilmente qualcuno l’avrà già scoperta e segnalata al Cbat: si arriva troppo tardi.

c) Creazione di una libreria di Master da catalogo DSS: questa ultima modalità è quella piu pratica ed efficace, ma anche la piu difficile da ottenere. Ho cercato per diverso tempo il metodo per ottenere questo risultato, riuscendoci dopo numerosi sforzi (considerate sempre il mio essere neofita, perchè sicuramente astrofili piu navigati probabilmente ci avrebbero messo meno). Il perchè è diffcile lo spiego subito: il catalogo DSS è un catalogo per immagini che si trova in un server. Questo contiene tutta la volta celeste osservabile, quindi non è possibile accedere ad un server FTP nella speranza di scaricarsi solo le immagini di galassie. Potremmo interpretare il DSS (Digital Sky Survey) in questo modo: una immagine unica di tutta la volta celeste, dove una query permette di estrarre una parte di cielo contenente un oggetto conoscendone le coordinate. Come potremmo quindi scaricare via FTP solo ciò che ci interessa?

Beh, si può in realtà fare e anche con pochi passaggi, ma bisogna un pò “studiarsi” la questione.

LA ROUTINE

La routine di azioni da intraprendere per avere una libreria di Master da tenere nel proprio Hard Disk è questa:

installare Linux
Installare Eso Batch Tool
Prepararsi un file con un elenco di galassie
Lanciare la query da riga di comando
Attendere lo scaricamento dei fits
Rinominare tutti i frame con una stringa “NGC XXXX.fit” o “IC XXXX.fit” (poi vedremo perchè)
convertire i frame da formato .fits a formato .jpg

INIZIAMO DA LINUX

Innanzitutto ho preferito affidarmi a Linux per l’esecuzione di questo lavoro. L’ho installato su tre pc, in modo da potere scaricare tutte le immagini di zone di cielo che contengono le galassie visibili dalla mia postazione nel corso dell’anno. Linux è fondamentale perchè per effettuare questo tipo di lavoro è opportuno affidarsi ad uno script denominato “Eso Batch Tools” che permette di lanciare delle query dal proprio pc (quindi senza dover navigare tra pagine) il quale provvederà a connettersi al server, selezionare il campo inquadrato impostato dalla query e scaricare già l’immagine Fits.

Non perderò molto tempo nella spiegazione dell’installazione di Linux, ma quello che suggerisco è utilizzare una virtual machine se non si è pratici di sistemi operativi o se non si vuole far confusione nel proprio PC.

La distribuzione che io ho utilizzato è DISTRO ASTRO, come già spiegato nell’articolo dedicato. LINK ma vanno bene tutte le distro a disposizione in questo momento.

Nota: le versioni Linux Based cambiano spesso, e con essa molti pacchetti. Può capitare infatti (come è capitato a me con altri applicativi) che certi pacchetti non possano piu essere utilizzati per questo motivo. Inoltre capita sovente che gli applicativi che si trovano vengano eliminati dalle pagine delle università perchè non piu sviluppati, ma ancora funzionanti alla perfezione . Motivo per il quale ho fatto un upload in questo sito degli Eso Batch Tools che trovate nella sezione software del blog

INSTALLARE ESO BATCH TOOL

Eso Batch Tool è uno scritp compilato per sistemi linux/unix. Questo si può scaricare alla seguente pagina: LINK ma io per comodità li ottengo tramite comando WGET da terminale.

Iniziamo:

creare una cartella in una locazione a voi congeniale (va bene anche il desktop). Aprite la cartella e cliccate col destro selezionando “Open in Terminal”. Questo vi aprirà un terminale che avrà come percorso la vostra cartella

FAtto questo, è necessario acquisire i diritti di root, come super user per via del sistema di protezione. Quindi digitate “sudo su”, date invio e inserite la vostra password di sistema (che avete selezionato durante l’installazione). Bene, adesso siete super user.
E’ arrivato quindi il momento di prelevarsi il pacchetto. Digitate “wget http://archive.eso.org/cms/tools-documentation/dss/dss.tar.gz” e inizierà il download

A questo punto avrete nella cartella il vostro file dss.tar.gz. Molto bene.
Essendo un file compresso, questo va scompattato. Sempre da terminale quindi digitate “tar -xvf dss.tar.gz” e il file verrà scompattato
La scompattazione prevede la creazione di una cartella denominata dss contenente all’interno tutti i file del programma
Onde evitare di scrivervi mille pagine di semplici comandi, chiudete il terminale e navigate col mouse dentro la cartella appena creata. A noi interessa entrare nella cartella “scripts” dove troverete due file con questi nomi: dss1dsk e dss2dvd che andranno copiati con la modalità che vi spiego ora
Aprite nuovamente il terminale col tasto destro del mouse e acquisite nuovamente i diritti di super user (sudo su). Fatto questo digitate “cp dss1dsk /usr/local/bin/dss1” (premete invio) e poi “cp dss2dvd /usr/local/bin/dss2” premete di nuovo invio. Questa azione vi ha permesso di copiare i file all’interno della cartella “bin”, necessaria per rendere utilizzabile il programma

Ora arriva la parte piu complessa. Non è difficilissimo però bisogna stare un pò attenti a quel che si fa. In buona sostanza, i file che abbiamo appena copiato (dss1 e dds2) sono scritp che contengono al loro interno istruzioni di funzionamento. Il problema è che i percorsi dove lo script dovra accedere per cercare ulteriori istruzioni non sono quelle relative alla vostra installazione e quindi dovremo andarli a modificare.
chiudete tutti i terminali e tutte le cartelle
Col mouse aprite il filesystem

Entrate nella cartella USR, poi LOCALE e infine BIN. Troverete i nostri bei file dds1 e dss2

Aprite il solito terminale, tasto destro del mouse e “open in terminal“
Acquisite i soliti diritti da super user (Sudo Su) sennò non vi fa modificare alcunchè
Fatto questo, aprite l’editor di testo, in questo modo “nano dss1“
Si aprirà quindi il file in un edito di testo come nell’immagine sotto

Se osservate, c’è una stringa all’inizio in cui c’è scritto “setenv DSS_ROOT /your/path“. Bisogna sostituire /your/path/ con il percorso della cartella sul deskop. Nel nostro caso basta scrivere /home/fabio/Desktop/dss/dss. Per sapere il percorso preciso vi conviene aprire la cartella dss che avevate salvato sul desktop e cliccare col destro “properties“. Vi verrà mostrato il percorso, guardate l’immagine sotto.

Ora, sempre rimanendo sul terminale, digitate CTRL+X e vi viene chiesto se volete salvare, rispondete con Y e invio
Fate la stessa cosa con il file dss2
siete pronti alla vostra prima query. Create una cartella sul desktop che potete chiamare a piacere perchè ci servirà per contenere le immagini, entrateci ed aprire un terminale in quella posizione
Digitate da terminale “dss1” e vi verrà mostrata questa schermata

dove c’è il campo “Enter data first field” scriviamo i dati di un oggetto qualsiasi, in questo formato:

nomeoggetto hh mm ss hh mm ss campo campo

NGC1333 03 29 19 +31 24 57 10 10

dove 10 10 sta per il campo in primi (10×10) Osserviamo l’immagine sotto per vedere la stringa scritta

bene, se tutto è andato a buon fine avremo nella cartella appena creata sul desktop la nostra immagine. Tutto funziona.

LA CREAZIONE DELLA LISTA DI GALASSIE

Ora, il pc è pronto per poter scaricare in una cartella tutte le immagini delle galassie dal catalogo DSS, ma ci avanza un problema: cioè, cercare un processo batch che ci permetta di poterle scaricare in serie, senza dover scrivere per ogni galassia il nome, le coordinate e il campo di interesse. Se consideriamo che è del tutto normale ritrovarsi con una lista di galassie osservabili contenente 1500 galassie, ecco che per forza di cose siamo costretti a dover automatizzare questa fase.

Fortunatamente Eso Batch Tools permette, sempre da riga di comando, di ottenere un download sistemico di lastre in sequenza. Questo avviene tramite la lettura di un file di testo contenente per ogni riga i campi interesati. Tutto ciò che dobbiamo fare è quindi metterci in condizione di ottenere un elecno formattato in formato testuale.

Per fare ciò, io mi sono affidato ad un file di Excel, se ne trovano diversi online, contenente il catalogo NGC composto da diverse migliaia di oggetti. Per forza di cose non mi è possbile inserire in questo articolo tutta la sequela di valutazioni che è opportuno fare per ottenere un parsing delle galassie realmente visibili dalla nostra postazione e con la nostra strumentazione, diventerebbe troppo lungo e porterebbe fuori contesto l’articolo. Suppongo quindi che abbiate già scelto un elenco di qualche centinaio di galassie e proseguo nella spiegazione.

Tutti i campi vanno formattati in modo che rimangano perfettamente scritti cosi come li vedete, ad esempio occhio ai campi di numeri dove le coordinate iniziano con zero (es.01) perchè excel potrebbe convertirli in 1. Le colonne del nostro file excel dovranno essere:

Nome
Ore
Minuti Ar
Secondi Ar
Gradi DEC
Minuti DEC
Secondi DEC
CampoX
Campo Y

nome	ore	minuti	secondi	gradi	minuti	secondi	campoX	campoY
NGC1333	03	29	17	31	24	17	10	10
NGC1421	etc…

Nota: purtroppo non si vedono gli ultimi due campi di questa tabella che sono campo X e campoY e contengono i valori di grandezza del campo, in numero intero. (es. 10 – 10)

Ora non vi resta che fare un’esportazione della tabella, dove i campi sono separati da spazi, e salvare in formato testuale nella cartella che conterrà le immegini.

Chiaro? Bene! Verificate inoltre che non vi siano spazi tra il prefisso del catalogo e il numero dell’oggetto. Esempio che non sia NGC 1333 ma NGC1333. E’ sufficiente un “trova – sostituisci” su excel per eliminare caratteri indesiderati.

LANCIAMO L’AUTOMATISMO

Fatto questo, siete a buon punto. E’ sufficiente lanciare il download sistemico con questa stringa

dss1 nomefile.txt

e..buonanotte. Nel mio caso ho scaricato 20.000 immagini, funzione lanciata su 3 pc e ho impiegato un venerdi e un sabato notte..pensate se dovevate farlo a mano!!

MODIFICHIAMO I NOMI DEI FILE

Ora, per evitare di intasare l’hard disk la prima cosa da fare è convertire le immagini in jpg. Questa funzione si può fare molto comodamente con diversi software, ad esempio io ho utilizzato la funzione batch di MaximDL e buona li.

La cosa invece importante è che venga formattato bene il nome dei file. Per questo mi sono affidato sempre a linux, installando gprename.

Aprite il terminale, e digitate

sudo apt-get install gprename

una volta installato sarà sufficiente digitare gprename dal terminale per avere il vostro bel software avviato con interfaccia grafica compresa.

Il funzionamento è parecchio semplice, non sto qua ad allungare ‘sto brodo 😀 , quello che è importante sapere però è che il nome dei file master dovrà essere identico al nome dei file di acquisizione, questo per permettere una verifica istantanea. Quindi, se riprendete la survey con uno script che vi genera file di ripresa denominati NGCxxxx.fit, identico dovrà essere il nome del file che abbiamo nei master (NGCxxxx.jpg)

Per i blinking, suggerisco infine l’add on SNResearch presente su MaximDL o altri applicativi di vostra preferenza.

Fine.