Elektroniczna Politechnika Warszawska
Strona www.pw.edu.pl powstała w ramach projektu „Politechnika Warszawska Ambasadorem Innowacji na Rzecz Dostępności”, finansowanego ze środków Programu Operacyjnego Wiedza Edukacja Rozwój (PO WER 2014-2020).
Zwykle celem uczenia nadzorowanego jest znalezienie najlepszego modelu, takiego, który optymalizuje określoną miarę wydajności. Co jednak, jeśli wyjaśnienie dostarczone przez ten model jest zupełnie inne niż w przypadku innego modelu i ponownie inne niż w przypadku innego modelu, mimo że wszystkie mają podobnie dobre statystyki dopasowania? Czy to możliwe, że równie skuteczne modele kładą nacisk na różne relacje w danych? Zainspirowany kwartetem Anscombe′a, niniejszy artykuł przedstawia Kwartet Rashomona, czyli zestaw czterech modeli zbudowanych na syntetycznym zbiorze danych, które mają praktycznie identyczną skuteczność predykcyjną. Jednak wizualna eksploracja ujawnia różne wyjaśnienia relacji w danych. Ten ilustracyjny przykład ma na celu zachęcenie do korzystania z metod wizualizacji modeli w celu porównania modeli predykcyjnych poza ich wydajnością.
Artykuł:
Journal of Computational and Graphical Statistics
Rok wydania:
Autorzy z PW:
Przemysław Biecek
Dyscyplina:
Wyjaśnialne metody sztucznej inteligencji (XAI) są przedstawiane jako lekarstwo na debugowanie i zaufanie do modeli statystycznych i głębokiego uczenia się, a także interpretowanie ich prognoz. Jednak ostatnie postępy w dziedzinie przeciwstawnego uczenia maszynowego (AdvML) podkreślają ograniczenia i słabości najnowocześniejszych metod wyjaśniania, stawiając pod znakiem zapytania ich bezpieczeństwo i wiarygodność. Możliwość manipulowania, oszukiwania lub fairwashingu dowodów rozumowania modelu ma szkodliwe konsekwencje, gdy jest stosowana w podejmowaniu decyzji o wysokiej stawce i odkrywaniu wiedzy. Niniejszy przegląd zawiera kompleksowy przegląd badań dotyczących ataków kontradyktoryjnych na wyjaśnienia modeli uczenia maszynowego, a także metryk uczciwości. Wprowadzamy ujednoliconą notację i taksonomię metod, ułatwiając wspólną płaszczyznę dla badaczy i praktyków z przecinających się dziedzin badań AdvML i XAI. Omawiamy, jak bronić się przed atakami i projektować solidne metody interpretacji. Przedstawiamy listę istniejących niepewności w XAI i nakreślamy nowe kierunki badań w przeciwstawnych XAI (AdvXAI). Przyszłe prace powinny dotyczyć poprawy metod wyjaśniania i protokołów oceny w celu uwzględnienia zgłoszonych kwestii bezpieczeństwa.
Artykuł:
Information Fusion
Rok wydania:
Autorzy z PW:
Przemysław Biecek
Dyscyplina:
W omawianej pracy zaprezentowano badania właściwości optycznych sześciu związków chemicznych typu donor – akceptor – donor. Związki te zawierały jednostki centralne o różnej sile akceptorowej, takie jak tiadiazol, benzotiadiazol, tetrazynę, diketopirolopirol oraz naftalenodiimid. Rolę donora w otrzymanych związkach pełnił ditienopirol. Przedstawiono wyniki pomiarów absorpcji jednofotonowej, klasycznej absorpcji dwufotonowej (ang. two-photon absorption – TPA) oraz dwufotonowej absorpcji splątanych fotonów (ang. entangled two-photon absorption – ETPA). Dane eksperymentalne porównano z wynikami obliczeń otrzymanych metodą TD-DFT (ang. time-dependent density-functional theory), w których uwzględniono zaproponowany teoretyczny model dwufotonowej absorpcji fotonów splątanych. Rezultaty badań przeprowadzonych dla serii związków o systematycznie zmienianych właściwościach elektronowych mają istotne znaczenie przy projektowaniu organicznych chromoforów do zastosowań w urządzeniach optoelektronicznych, wykorzystujących zjawisko kwantowego splątania fotonów.
Artykuł:
Journal of Physical Chemistry Letters
Rok wydania:
Autorzy z PW:
Małgorzata Zagórska, Roman Mateusz Gańczarczyk
Dyscyplina:
Mikromacierze białkowe SPRi to nowoczesne narzędzia do szybkiej i bezznacznikowej immunodetekcji, które umożliwiają wysokoprzepustową biodetekcję oraz analizę interakcji molekularnych. Jednak ich rutynowe zastosowanie w analizie ilościowej wymaga odpowiedniej powtarzalności i jednorodności warstw receptorowych wytwarzanych ex-situ za pomocą technik mikronanoszenia. Istotnym wyzwaniem jest również opracowanie wszechstronnych i nieniszczących metod określania gęstości powierzchniowej białek, aby lepiej kontrolować proces ich immobilizacji.
W niniejszej pracy przedstawiamy prostą, jednoetapową metodę wizualizacji białek powierzchniowych poprzez ich odwracalne, niespecyficzne znakowanie anionowymi barwnikami: Ponceau S, czernią amidową 10B lub błękitem brylantowym Coomassie. Wykorzystując przeciwciało IgG królika oraz transferynę jako modelowe receptory, wykazaliśmy możliwość określenia gęstości powierzchniowej białek w szerokim zakresie – do ok. 3 ng∙mm⁻² (dla dwuwymiarowej monowarstwy typu SAM) oraz do co najmniej 12,5 ng∙mm⁻² (dla trójwymiarowej monowarstwy na szkielecie hydrożelowym).
Zakresy dynamicznej odpowiedzi opracowanych metod obejmują typowe gęstości powierzchniowe receptorów stosowane w konstrukcji biosensorów SPR oraz badaniach kinetyki oddziaływań białek. Badania wykazały, że każdy z analizowanych barwników ma swoje unikalne zalety w zależności od zastosowania. Błękit Coomassie wyróżnia się najwyższą czułością w odpowiedzi SPRi, czerń amidowa pozwala na efektywne znakowanie w najłagodniejszych warunkach, a Ponceau S charakteryzuje się najszybszą asocjacją i odmywaniem, nawet z warstw o wysokiej gęstości powierzchniowej białek.
Potwierdzono również skuteczność opracowanej metody w kontroli jakości mikromacierzy SPRi. W naszej pracy opisano także liczne zalety nowej, opartej na barwnikach metody niespecyficznego znakowania w porównaniu z typowo wykorzystywanym do tego celu immunoznakowaniem, szczególnie pod względem prostoty realizacji i uniwersalności.
Artykuł:
Sensors and Actuators B - Chemical
Rok wydania:
Autorzy z PW:
Sylwia Pniewska, Lorico Jr Lapitan, Marcin Drozd, Mariusz Pietrzak, Elżbieta Malinowska
Dyscyplina:
W ostatnich latach rośnie zainteresowanie rozwijaniem odpornych modeli uczenia maszynowego, które mogą skutecznie przeciwstawiać się atakom adwersarialnym. Dotyczy to również drzew decyzyjnych – jednego z najczęściej stosowanych, efektywnych i interpretowalnych algorytmów uczenia maszynowego. Praca przedstawia nowatorski algorytm koewolucyjny (CoEvoRDT), zaprojektowany w celu tworzenia odpornych drzew decyzyjnych, które mogą skutecznie przetwarzać zaszumione dane o wysokiej wymiarowości w kontekście ataków adwersarialnych.
W metodzie CoEvoRDT wykorzystano adaptacyjną koewolucję, aby umożliwić ewolucję drzew decyzyjnych w interakcji z zaburzonymi danymi wejściowymi. CoEvoRDT naprzemiennie rozwija konkurujące populacje drzew decyzyjnych oraz zaburzonych cech, co pozwala na konstruowanie drzew decyzyjnych o pożądanych właściwościach. Algorytm można łatwo dostosować do różnych metryk optymalizacyjnych, umożliwiając zastosowanie różnych kryteriów odporności, np. minimax regret.
Dodatkowo, CoEvoRDT posiada potencjał do poprawy wyników innych konkurencyjnych metod poprzez włączenie wygenerowanych przez nich drzew decyzyjnych do swojej początkowej populacji i ich dalszą optymalizację w procesie koewolucji. W zaproponowanej metodzie, do poprawy zbieżności przeszukiwania wykorzystano ideę mieszanej równowagi Nasha, pochodzącą z teorii gier.
Metoda CoEvoRDT została przetestowana na 20 popularnych zbiorach danych i osiągnęła najlepsze wyniki w porównaniu z 4 innymi zaawansowanymi algorytmami. Pokonała wszystkie konkurencyjne metody na 13 zbiorach danych pod względem metryki adeversarial accuracy oraz na wszystkich 20 zbiorach danych według metryki minimax regret. Bardzo dobre wyniki eksperymentalne oraz elastyczność w doborze metryki skuteczności czynią CoEvoRDT obiecującym podejściem do konstruowania odpornych drzew decyzyjnych w rzeczywistych zastosowaniach.
Materiał konferencyjny:
Proceedings of 38th AAAI Conference on Artificial Intelligence
Rok wydania:
Autorzy z PW:
Adam Żychowski, Jacek Mańdziuk
Dyscyplina:
Abstrakcyjne wnioskowanie wizualne (AVR – Abstract Visual Reasoning) obejmuje szeroki zakres problemów, podobnych do tych stosowanych w testach IQ. W ostatnich latach nastąpił dynamiczny rozwój metod rozwiązywania poszczególnych rodzajów zadań AVR, jednak we współczesnej literaturze różne typy problemów AVR rozważane są odrębnie, co prowadzi do opracowywania bardzo wyspecjalizowanych metod ukierunkowanych na rozwiązywanie zadań konkretnego typu.
W celu zbudowania uniwersalnych systemów uczących się w dziedzinie AVR proponujemy ujednolicony model do rozwiązywania zadań pojedynczego wyboru (SCAR). Model ten potrafi rozwiązywać różnorodne zadania AVR bez przyjętych z góry założeń dotyczących ich struktury, w szczególności liczby i rozmieszczenia paneli. Proponowany model opiera się na nowatorskiej warstwie dynamicznej (SAL – Structure-Aware Layer), która dostosowuje swoje wagi do struktury rozważanego problemu.
Eksperymenty przeprowadzone na Progresywnych Matrycach Ravena, problemach analogii wizualnej oraz zadaniach wyboru niepasującego obrazu wykazały, że SCAR (oraz ogólniej, modele oparte na SAL) skutecznie rozwiązują różnorodne zadania AVR, osiągając wyniki porównywalne z najlepszymi metodami specjalistycznymi. Co więcej, SCAR wykazuje istotne zdolności w uczeniu wielozadaniowym i transferze wiedzy.
Według naszej wiedzy, jest to pierwsza udana próba zbudowania uniwersalnego modelu do rozwiązywania zadań AVR opartego na jednolitej architekturze. Niniejsza praca ma na celu stymulowanie dalszego rozwoju badań poświęconych systemom uniwersalnym w obszarze AVR.
Materiał konferencyjny:
Proceedings of the AAAI Conference on Artificial Intelligence
Rok wydania:
Autorzy z PW:
Mikołaj Małkiński, Jacek Mańdziuk
Dyscyplina:
Prognozy cen energii elektrycznej są kluczowe dla podejmowania świadomych decyzji biznesowych na rynkach energii. Prognozy probabilistyczne, które zamiast jednej wartości przewidują cały zakres możliwych przyszłych cen, są szczególnie cenne, ponieważ pozwalają uwzględnić niepewności rynkowe.
Metoda Quantile Regression Averaging (QRA) jest jedną z wiodących technik generowania prognoz probabilistycznych. W niniejszej pracy przedstawiamy ReModels – kompleksowy pakiet w języku Python, który implementuje metodę QRA oraz jej różnorodne modyfikacje zaproponowane w najnowszej literaturze. Pakiet nie tylko udostępnia narzędzia do stosowania QRA, ale również oferuje funkcje związane z pozyskiwaniem i przygotowaniem danych oraz transformacjami stabilizującymi wariancję (VST – Variance Stabilizing Transformations).
Zgodnie z naszą wiedzą, obecnie nie istnieje publicznie dostępna implementacja metody QRA oraz jej wariantów. Nasz pakiet ma na celu wypełnienie tej luki, dostarczając zarówno badaczom jak i praktykom narzędzia do generowania dokładnych i wiarygodnych prognoz probabilistycznych w obszarze prognozowania cen energii elektrycznej.
Artykuł:
SoftwareX
Rok wydania:
Autorzy z PW:
Mikołaj Małkiński, Jacek Mańdziuk
Dyscyplina:
Algorytmy minimalizacji żalu kontrfaktycznego (Counterfactual Regret Minimization, CRM) są najpopularniejszym sposobem szacowania równowagi Nasha w grach o sumie zerowej z niepełną informacją. W szczególności, zaawansowany bot do pokera, DeepStack, wykorzystuje tzw. Deep Counterfactual Value Network (DCVN) do nauki wartości kontrfaktycznych (CFV) związanych z różnymi stanami gry. Każda wartość kontrfaktyczna to iloczyn dwóch czynników: (1) prawdopodobieństwa, że przeciwnik osiągnie dany stan w grze, które można obliczyć na podstawie danych wejściowych, oraz (2) oczekiwanej wartości (EV) wypłaty w tym stanie, która jest złożoną funkcją danych wejściowych, trudną do obliczenia. W niniejszym artykule proponujemy prostą, ale skuteczną modyfikację procesu szacowania CFV, polegającą na wykorzystaniu głębokiej sieci neuronowej do szacowania jedynie czynnika EV wartości kontrfaktycznej. Nowe podejście znacznie upraszcza problem nauki i prowadzi do dokładniejszego szacowania CFV. Bezpośrednie porównanie strat predykcji CFV wykazuje znaczną poprawę dokładności predykcji proponowanego podejścia (DEVN) w porównaniu z oryginalną formułą DCVN (relatywnie o 9,18-15,70%, w zależności od konkretnego ustawienia eksperymentu). Ponadto zastosowanie DEVN poprawia teoretyczną, dolną granicę błędu o 29,05-31,83% w porównaniu do treningu opartego na DCVN. Dodatkowo, DEVN osiąga cel wykorzystując do wnioskowania znacznie mniejsze i szybsze sieci. Chociaż proponowana modyfikacja może wydawać się raczej techniczna, w rzeczywistości przedstawia fundamentalnie inne podejście do procesu nauki i szacowania CFV, ponieważ rozkłady sygnałów treningowych różnią się znacząco między DCVN a DEVN. Pierwszy szacuje CFV, które są obciążone prawdopodobieństwem osiągnięcia danego stanu gry, podczas gdy trening drugiego opiera się na bezpośrednim szacowaniu EV, niezależnie od prawdopodobieństwa stanu. W efekcie sygnał nauki DEVN lepiej odzwierciedla rzeczywistą wartość danego stanu, co pozwala na dokładniejsze szacowanie CFV.
Materiał konferencyjny:
Proceedings of the 37th AAAI Conference on Artificial Intelligence
Rok wydania:
Autorzy z PW:
Jacek Mańdziuk
Dyscyplina:
Głębokie sieci neuronowe są powszechnie znane ze swojej niezwykłej skuteczności w różnych zadaniach, a panuje przekonanie, że głębsze sieci w naturalny sposób uczą się bardziej złożonych reprezentacji danych. W niniejszej pracy pokazujemy, że wystarczająco głębokie sieci trenowane do nadzorowanej klasyfikacji obrazów dzielą się na dwie odrębne części, które w różny sposób przyczyniają się do powstawania reprezentacji danych. Początkowe warstwy tworzą reprezentacje liniowo separowalne, podczas gdy kolejne warstwy, które określamy jako tunel, kompresują te reprezentacje i mają minimalny wpływ na ogólną wydajność. Przeprowadzone przez nas badania empiryczne pokazują, że tunel pojawia się we wczesnych etapach procesu treningowego, a jego głębokość zależy od relacji między pojemnością sieci a złożonością zadania. Ponadto pokazujemy, że tunel pogarsza uogólnianie na dane spoza rozkładu i omawiamy jego konsekwencje dla uczenia ciągłego.
Materiał konferencyjny:
Advances in Neural Information Processing Systems 36. 37th Conference on Neural Information Processing Systems (NeurIPS 2023)
Rok wydania:
Autorzy z PW:
Wojciech Masarczyk, Mateusz Ostaszewski, Tomasz Trzciński
Dyscyplina:
Ostatnie postępy w uczeniu ze wzmocnieniem (Reinforcement Learning RL) metodami off-policy znacznie poprawiły efektywność próbkowania, głównie dzięki zastosowaniu różnych form regularyzacji, które umożliwiają więcej kroków aktualizacji gradientu niż w tradycyjnych agentach. Jednak wiele z tych technik było testowanych w ograniczonych warunkach, często na zadaniach z pojedynczych symulacyjnych benchmarków i w porównaniu z dobrze znanymi algorytmami, zamiast z szerokim zakresem podejść regularyzacyjnych. Ogranicza to nasze zrozumienie konkretnych mechanizmów napędzających ulepszenia w RL. Aby to zbadać, zaimplementowaliśmy ponad 60 różnych agentów off-policy, z których każdy integrował uznane techniki regularyzacji z najnowszych algorytmów state-of-the-art. Przetestowaliśmy tych agentów w 14 zróżnicowanych zadaniach z 2 symulacyjnych benchmarków, mierząc metryki treningowe związane z przeszacowaniem, przeuczeniem i utratą plastyczności — problemami, które motywują analizowane techniki regularyzacyjne. Nasze wyniki pokazują, że skuteczność konkretnej konfiguracji regularyzacyjnej zależy od zadania, jednak pewne kombinacje konsekwentnie wykazują solidną i ponadprzeciętną wydajność. W szczególności prosty agent Soft Actor-Critic, odpowiednio zregularyzowany, konsekwentnie znajduje politykę o lepszej wydajności w trakcie treningu, co wcześniej było osiągane głównie za pomocą podejść modelowych.
Materiał konferencyjny:
Proceedings of the 41st International Conference on Machine Learning
Rok wydania:
Autorzy z PW:
Michał Bortkiewicz, Mateusz Ostaszewski, Tomasz Trzciński
Dyscyplina:
Alumoksany to związki metaloorganiczne zawierające ugrupowanie Al–O–Al z organicznymi podstawnikami. Ich chemia ma długą historię, a pierwsze badania nad tymi związkami sięgają lat 50. XX wieku. Alumoksany wzbudzają szczególne zainteresowanie ze względu na ich wysoką aktywność katalityczną, a metylalumoksan (MAO) jest szeroko stosowany jako kokatalizator w procesach polimeryzacji.
W artykule przedstawiono metodę syntezy tetrametyloalumoksanu poprzez kontrolowaną hydrolizę trimetyloglinu (AlMe₃) w obecności silnej zasady Lewisa – pirydyny. Dzięki technikom spektroskopowym oraz zaawansowanym obliczeniom kwantowo-chemicznym wykazano, że kluczową rolę w pierwszych etapach reakcji odgrywają hiperwalencyjne pięciokoordynacyjne kompleksy glinowe, co pozwoliło lepiej zrozumieć sposób oddziaływania cząsteczek AlMe₃ z wodą. Otrzymane wyniki stanowią istotny wkład w zrozumienie mechanizmu hydrolizy związków glinoorganicznych, co może przyczynić się do dalszego rozwoju chemii alumoksanów i ich racjonalnego projektowania.
Artykuł został dedykowany pamięci Profesora Stanisława Pasynkiewicza, wybitnego chemika i Rektora Politechniki Warszawskiej w latach 1973–1981, który wniósł nieoceniony wkład w rozwój chemii związków glinoorganicznych, z którymi był związany od początku swojej kariery naukowej.
Artykuł:
Chemical Communications
Rok wydania:
Autorzy z PW:
Krzesimir Korona, Janusz Lewiński, Antoni Pietrzykowski, Marta Lemieszka
Dyscyplina:
Po raz pierwszy zbadano zastosowanie poliaromatycznych związków o kształcie misy i zawierających azot w roli receptorów molekularnych do wykrywania kationów metali. Przeprowadzono kompleksowe pomiary potencjometryczne i spektrofluorymetryczne, jak również obliczenia kwantowo-mechaniczne za zakresu teorii funkcjonału gęstości (DFT). Pokazano, że badane związki skutecznie rozpoznają kationy metali, ze szczególnym uwzględnieniem kationów cezu (Cs⁺).
Artykuł:
Chemical Communications
Rok wydania:
Autorzy z PW:
Jakub Cyniak, Joachim Ażgin, Wojciech Wróblewski, Artur Kasprzak
Dyscyplina: