Marco Ricci ha ricevuto di recente, dalla Fondazione Giovanni Dalle Fabbriche - Multifor ETS e da LA BCC ravennate, forlivese e imolese, una Borsa di studio per progetti di sviluppo di competenze all’estero in ambito accademico, relativa a profili di approfondimento sui temi dell’innovazione tecnologica e transizione digitale, della sostenibilità ambientale, economico-finanziaria e responsabilità sociale d’impresa e della cooperazione.
Il periodo di ricerca presso l’università TUM di Monaco di Baviera, frequentato 13 aprile 2026 e il 15 luglio 2026 è stato dedicato allo sviluppo e alla validazione di un framework decisionale basato su tecniche di Reinforcement Learning (RL) per sistemi di stoccaggio automatici di tipo cube-based.
Di seguito alcune sue riflessioni, sull’importanza dell’attività che ha svolto, anche grazie alla Borsa di studio.
Le attività svolte
Il periodo di ricerca presso l’università TUM di Monaco di Baviera è stato dedicato allo sviluppo e alla validazione di un framework decisionale basato su tecniche di Reinforcement Learning (RL) per sistemi di stoccaggio automatici di tipo cube-based. In tali sistemi la merce è inserita all’interno di contenitori standardizzati, a loro volta impilati in una struttura tridimensionale ad alta densità. I contenitori sono movimentati da robot che operano sulla superficie superiore del magazzino. Poiché solo il contenitore posto in cima a una colonna è direttamente accessibile, il loro recupero può richiedere operazioni preliminari di spostamento temporaneo dei contenitori sovrastanti, attività definite di digging. In questo contesto, l'obiettivo dell'attività è stato lo sviluppo di una strategia intelligente in grado di decidere, in tempo reale, quale missione assegnare a un robot nel momento in cui diventa disponibile, scegliendo tra un'operazione di servizio (stoccaggio oppure prelievo all’interno di un contenitore) o un'attività preparatoria di digging.
L’approccio
Per affrontare tale problema è stato adottato un approccio basato su Reinforcement Learning, paradigma di apprendimento che consente di affrontare problemi decisionali sequenziali in cui le conseguenze di una scelta si riflettono sullo stato attuale e su quelli futuri del sistema. Attraverso l'interazione con un ambiente simulato, l'agente apprende progressivamente una politica decisionale in grado di massimizzare una funzione obiettivo. Questa tecnica permette di definire una strategia alternativa all’applicazione di regole decisionali predefinite, che rappresentano l’approccio tradizionale a queste tipologie di problema.
Per supportare lo sviluppo della metodologia proposta è stato realizzato, in linguaggio Julia, un modello di simulazione del sistema di stoccaggio cube-based basato sul paradigma della simulazione per eventi discreti. Questo approccio è particolarmente adatto alla rappresentazione dei sistemi logistici, permettendo di analizzare tutti gli eventi che caratterizzano le attività al loro interno, seguendone l’evoluzione temporale. Successivamente è stato sviluppato il modello MDP (Markov Decision Process), che formalizza il problema decisionale definendo gli stati del sistema, le azioni disponibili e il meccanismo di ricompensa. Tale formalizzazione costituisce la base per l'applicazione degli algoritmi di Reinforcement Learning. L’utilizzo di Julia è motivato dall'elevata efficienza computazionale del linguaggio, requisito fondamentale per applicazioni di Reinforcement Learning, che richiedono l'esecuzione di un numero molto elevato di simulazioni durante la fase di addestramento. Infine, l’interoperabilità di Julia con i principali framework di Machine Learning e Reinforcement Learning è stato un ulteriore driver per questa scelta. Infine, è stata effettuata l'integrazione con librerie dedicate al Reinforcement Learning, al fine di consentire lo sviluppo della strategia decisionale ricercata.
Le attività future
Le attività future saranno orientate all'estensione del modello simulativo, incrementandone la fedeltà rispetto al sistema reale, e del framework di ottimizzazione, mediante la calibrazione dei principali iperparametri dell'algoritmo di Reinforcement Learning, tra cui, ad esempio, il numero di iterazioni di addestramento. Parallelamente, sarà definito un piano sperimentale volto ad applicare il framework sviluppato e preliminarmente validato a un dataset più ampio e rappresentativo, così da consolidare i risultati ottenuti, valutarne la robustezza attraverso un'analisi di sensibilità rispetto ai principali parametri di addestramento e confrontarne le prestazioni con quelle di strategie decisionali tradizionali. Tali attività consentiranno di completare la validazione dell'approccio proposto e di valorizzarne i risultati mediante la pubblicazione su riviste scientifiche.
Riflessioni formative e personali
Questa mia esperienza di ricerca a Monaco di Baviera ha rappresentato un'importante opportunità di crescita sia dal punto di vista scientifico sia personale. Sul piano formativo, mi ha consentito di approfondire metodologie e strumenti innovativi, già consolidati in altri ambiti applicativi e potenzialmente rilevanti anche per il mio progetto di ricerca, e ampliare il mio bagaglio di competenze da poter applicare in futuro. Dal punto di vista personale, il soggiorno in Baviera mi ha offerto l'opportunità di conoscere una realtà culturale diversa, seppur vicina, favorendo un arricchimento umano oltre che professionale. Ho inoltre avuto l'opportunità di conoscere nuove persone, con le quali è stato possibile instaurare un confronto tanto stimolante sul piano accademico quanto piacevole e arricchente sul piano umano. Desidero infine ringraziare la Fondazione e la BCC per aver contribuito alla realizzazione di questa preziosa esperienza di ricerca e di crescita personale.
