Na pierwszy rzut oka da się to rozstrzygnąć kalkulatorem. Ludzki mózg ma około 86 miliardów neuronów. Współczesne układy scalone również mają dziesiątki, a czasem setki miliardów tranzystorów. Wystarczy sprawdzić, ile jednych i drugich mieści się na określonej powierzchni albo w określonej objętości.
Tyle że już po chwili pojawia się problem: neuron i tranzystor są zupełnie innymi rodzajami elementów.
A kiedy zamiast neuronów zaczniemy liczyć synapsy, dołożymy trzeci wymiar, szybkość działania i zużycie energii, proste pytanie o gęstość zaczyna prowadzić w kilka różnych stron.
Najpierw trzeba ustalić, co właściwie liczymy
Tranzystor jest podstawowym elementem współczesnej elektroniki cyfrowej. W dużym uproszczeniu działa jak bardzo mały, sterowany elektrycznie przełącznik. Dopiero z wielu tranzystorów buduje się bramki logiczne, pamięć i bardziej skomplikowane układy.
Neuron już jako pojedyncza komórka robi znacznie więcej.
Odbiera sygnały przez dendryty, łączy informacje docierające z wielu miejsc, reaguje na ich siłę i moment pojawienia się, posiada własny stan elektryczny, a następnie może wysłać impuls wzdłuż aksonu. Do tego sposób jego działania może się zmieniać.
W popularnych uproszczeniach neuron często przedstawia się niemal jak biologiczną bramkę logiczną: zbiera sygnały, sumuje je i po przekroczeniu progu „odpala”. Taki model jest użyteczny, ale rzeczywiste neurony są bardziej skomplikowane. Poszczególne fragmenty dendrytów mogą aktywnie przetwarzać sygnały i wykonywać lokalne, nieliniowe operacje jeszcze zanim informacja dotrze do ciała komórki.
W przypadku niektórych ludzkich neuronów piramidalnych pokazano nawet, że ich dendryty potrafią realizować zachowania obliczeniowe znacznie bogatsze niż proste sumowanie wejść.
Dlatego pytanie „co jest gęściej upakowane: neurony czy tranzystory?” trochę przypomina liczenie silników w dwóch maszynach bez sprawdzenia, czy po obu stronach słowo „silnik” oznacza urządzenie o podobnej funkcji.
A co, jeśli zamiast neuronów policzymy synapsy?
Wtedy proporcje zmieniają się bardzo mocno.
Synapsa jest miejscem, w którym jeden neuron przekazuje sygnał drugiemu. Jeden neuron może mieć ich tysiące, dlatego liczba synaps w mózgu jest o wiele większa niż liczba samych neuronów.
W niektórych obszarach ludzkiej kory gęstość synaps może sięgać około miliarda synaps w jednym milimetrze sześciennym, choć dokładna wartość zależy od obszaru mózgu, warstwy kory, wieku i metody pomiaru.
Wyobraźmy sobie więc kostkę tkanki o boku jednego milimetra.
To naprawdę mało. Ziarenko gruboziarnistego piasku może mieć podobny rozmiar.
A w takiej objętości mogą znajdować się setki milionów lub około miliarda synaps, otoczonych gęstą plątaniną dendrytów, aksonów i komórek glejowych.
Ciał neuronów jest znacznie mniej. W typowych oszacowaniach dla ludzkiej kory mówimy raczej o dziesiątkach tysięcy neuronów na mm³.
Dużą część tkanki zajmuje więc nie „centrum dowodzenia” poszczególnych komórek, lecz cała infrastruktura ich połączeń.
I to jest pierwsza rzecz, której nie widać przy prostym porównaniu 86 miliardów neuronów z liczbą tranzystorów w procesorze.
Mózg jest w ogromnym stopniu siecią połączeń.
Procesor potrafi jednak upakować elementy absurdalnie ciasno
Tutaj krzem ma potężną przewagę.
Najbardziej zaawansowane współczesne procesy produkcyjne pozwalają osiągać gęstości rzędu setek milionów tranzystorów na mm² w najbardziej zagęszczonych fragmentach logiki.
Już sama jednostka zdradza jednak problem.
Procesory mierzymy zwykle w tranzystorach na milimetr kwadratowy.
Tkankę mózgową w neuronach i synapsach na milimetr sześcienny.
Układ scalony jest zbudowany przede wszystkim na powierzchni krzemu. Tranzystory tworzą warstwę logiczną, a ponad nimi znajduje się wiele kolejnych warstw metalowych połączeń.
Mózg wykorzystuje objętość znacznie swobodniej. Aksony, dendryty i synapsy biegną w różnych kierunkach i przeplatają się w trzech wymiarach.
Można oczywiście przeprowadzić eksperyment myślowy i zacząć układać aktywne warstwy procesorów jedna na drugiej. Geometrycznie krzem nadal wypada wtedy bardzo dobrze. Gdyby pominąć problemy konstrukcyjne, zasilanie i chłodzenie, w tej samej objętości dałoby się potencjalnie zmieścić więcej tranzystorów niż mózg mieści synaps.
Tyle że właśnie słowa „gdyby pominąć zasilanie i chłodzenie” robią tutaj ogromną robotę.
Do tego jeszcze wrócimy.
Czy tranzystor w technologii 2 nm naprawdę ma dwa nanometry?
Nie.
Nazwy procesów technologicznych stały się pod tym względem dość zdradliwe.
Dawniej liczba podawana przy procesie produkcyjnym była mocniej związana z fizycznymi wymiarami konkretnej części tranzystora. W przypadku współczesnych oznaczeń takich jak 3 nm czy 2 nm sytuacja wygląda inaczej.
„2 nm” oznacza generację technologii, a nie tranzystor szeroki na dwa nanometry.
Rzeczywiste odstępy pomiędzy kluczowymi strukturami w takich układach nadal mają często kilkadziesiąt nanometrów. W przypadku najnowocześniejszych procesów odległości pomiędzy bramkami tranzystorów są rzędu około 45-50 nm.
To nadal bardzo mało.
Dla porównania ciało neuronu może mieć średnicę od kilkunastu do kilkudziesięciu mikrometrów.
Mikrometr to tysiąc nanometrów.
Pod względem samych rozmiarów pojedynczych elementów krzem operuje więc na zupełnie innej skali.
Ciekawiej robi się przy synapsach. Sama szczelina synaptyczna pomiędzy dwiema komórkami może mieć około 20-40 nm szerokości, czyli znajdujemy się już w zakresie podobnym do niektórych detali współczesnych układów scalonych.
Nie oznacza to oczywiście, że synapsa ma 20 nm. Szczelina jest tylko częścią znacznie większej struktury obejmującej zakończenie aksonu, pęcherzyki z neuroprzekaźnikami, receptory i fragment dendrytu.
Mimo wszystko skala robi wrażenie. Biologia i litografia półprzewodnikowa spotykają się miejscami na poziomie dziesiątek nanometrów, choć budują z nich zupełnie różne rzeczy.
Ile tranzystorów potrzeba na jeden neuron?
Najuczciwsza odpowiedź brzmi: zależy od tego, jakiego neuronu oczekujemy.
Prosty neuron używany w sztucznej sieci neuronowej może sprowadzać się do kilku działań matematycznych. Model biologiczny może natomiast uwzględniać napięcie błony, kanały jonowe, geometrię dendrytów, czas docierania sygnałów, różne rodzaje synaps i wiele innych zjawisk.
Różnica pomiędzy tymi modelami jest ogromna.
Dobrym przykładem są procesory neuromorficzne, czyli układy projektowane specjalnie po to, aby naśladować wybrane cechy działania układu nerwowego.
IBM TrueNorth miał około 5,4 miliarda tranzystorów, a sprzętowo reprezentował około miliona sztucznych neuronów i 256 milionów programowalnych synaps.
Intel Loihi 2 również obsługuje do około miliona programowalnych neuronów.
Nie można po prostu podzielić liczby tranzystorów przez liczbę neuronów i ogłosić wyniku, bo te same tranzystory realizują również pamięć, komunikację, sterowanie i wiele innych funkcji. Skala pokazuje jednak coś ważnego: nawet bardzo uproszczony elektroniczny „neuron” wymaga całego układu złożonego z wielu elementów.
A biologiczny neuron pozostaje znacznie bogatszy od tych modeli.
Krzem jest za to niewiarygodnie szybki
Tutaj mózg nie ma czego szukać.
Neuron może wysyłać impulsy z częstotliwością kilku, kilkunastu czy kilkudziesięciu herców. Niektóre typy komórek potrafią działać szybciej, ale nadal mówimy o skalach biologicznych.
Procesor taktowany częstotliwością 5 GHz wykonuje pięć miliardów cykli zegara na sekundę.
Oczywiście impuls neuronu i cykl procesora nie są tym samym, więc zestawienie ich jeden do jednego byłoby kolejnym uproszczeniem. Różnica skali pozostaje jednak gigantyczna.
Elektronika działa miliony razy szybciej.
Mózg radzi sobie inaczej.
Nie ma jednego głównego procesora wykonującego instrukcje kolejno. Ogromna liczba neuronów działa równolegle. Każdy reaguje na własny zestaw sygnałów, a aktywność całej sieci powstaje z milionów i miliardów lokalnych zdarzeń.
Elementy są wolne, ale jest ich bardzo dużo i nie muszą czekać na wspólny zegar.
I wtedy pojawia się liczba 20 W
Ludzki mózg zużywa około 20 watów mocy.
Mniej więcej tyle co mocna żarówka LED. Dla porównania sam procesor komputera stacjonarnego pod dużym obciążeniem może pobierać 100-200 W, a wydajna karta graficzna nawet 300-500 W.
Przy porównywaniu mózgu i procesorów ta liczba jest być może ciekawsza od samej liczby neuronów.
Mózg utrzymuje przy tej mocy dziesiątki miliardów neuronów oraz gigantyczną sieć synaps. Energia jest potrzebna między innymi do pracy pomp jonowych przywracających odpowiednie stężenia jonów po aktywności elektrycznej komórek.
Biologia radzi sobie z ograniczonym budżetem energetycznym między innymi dlatego, że nie wszystko działa bez przerwy z maksymalną szybkością.
Aktywność neuronów jest często rzadka. Informacja może być przesyłana dopiero wtedy, gdy wydarzy się coś istotnego. Pamięć i przetwarzanie są mocno związane z tą samą siecią, zamiast znajdować się w dwóch odległych blokach, między którymi przez cały czas trzeba przesyłać dane.
W zwykłym komputerze samo przemieszczanie informacji pomiędzy pamięcią a procesorem potrafi być kosztowne energetycznie.
Mózg w dużym stopniu omija ten problem, bo zmiana siły połączenia może następować bezpośrednio w synapsie.
Nie trzeba wysyłać jej gdzieś do osobnego modułu RAM, żeby zapisać nową wartość.
A gdyby zrobić procesor wielkości mózgu?
To brzmi jak naturalny kolejny krok.
Mamy około 1,3 litra przestrzeni. Skoro krzem potrafi pakować setki milionów tranzystorów na mm², dlaczego nie wypełnić nimi podobnej objętości?
Matematycznie można uzyskać absurdalne liczby. Przy odpowiednio cienkich, gęsto ułożonych warstwach dochodzimy nawet do rzędów biliardów tranzystorów.
Geometria nie jest jednak największym problemem.
Jest nim ciepło.
Wydajne procesory i akceleratory potrafią zużywać setki watów, mimo że zajmują powierzchnię niewiele większą od znaczka pocztowego. Jednym z powodów, dla których są płaskie, jest możliwość odebrania z nich ciepła przez radiator albo układ chłodzenia.
Jeżeli zaczniemy układać kolejne aktywne warstwy jedna na drugiej, te znajdujące się w środku coraz trudniej schłodzić.
Przemysł półprzewodnikowy rzeczywiście zmierza w stronę trzeciego wymiaru. Stosuje chiplety, pionowe połączenia, pamięci układane warstwowo i coraz bardziej przestrzenne tranzystory. Pojawiają się też koncepcje układania samych warstw logicznych jedna nad drugą.
Każdy taki krok zwiększa jednak znaczenie odprowadzania ciepła.
Mózg od dawna jest pełnoprawną maszyną trójwymiarową i przy okazji mieści się w czaszce, utrzymując temperaturę w zakresie pozwalającym nam jeszcze normalnie funkcjonować.
Procesory neuromorficzne próbują podkraść kilka pomysłów biologii
Być może najciekawsza część tego porównania zaczyna się wtedy, kiedy inżynierowie przestają próbować budować coraz szybszą wersję klasycznego procesora i zaczynają patrzeć na sposób pracy mózgu.
Stąd pomysł procesorów neuromorficznych.
Układy takie jak Intel Loihi korzystają z neuronów impulsowych, lokalnej pamięci i komunikacji wywoływanej zdarzeniami. Zamiast wykonywać cały czas kolejne instrukcje zgodnie z jednym zegarem, mogą reagować wtedy, kiedy pojawi się impuls.
Brzmi znajomo.
Nie oznacza to, że Loihi jest miniaturowym mózgiem. Jego neurony są uproszczonymi modelami matematycznymi. Biochemia prawdziwej komórki nerwowej jest od nich nieporównywalnie bardziej złożona.
Sam kierunek jest jednak interesujący, bo pokazuje, że część zalet mózgu może wynikać nie z jakiegoś wyjątkowego biologicznego materiału, ale z architektury.
Lokalne przetwarzanie.
Lokalna pamięć.
Ogromna równoległość.
Rzadka aktywność.
Brak konieczności taktowania wszystkiego jednym zegarem.
To trochę inna odpowiedź na pytanie, jak zbudować komputer.
Więc co właściwie jest gęstsze?
Jeśli interesuje nas wyłącznie liczba najmniejszych fizycznych przełączników, współczesna elektronika potrafi upakować je znacznie ciaśniej niż mózg neurony. Nawet w hipotetycznym porównaniu objętościowym krzem może osiągnąć imponującą przewagę liczbową.
Jeżeli zamiast neuronów zaczniemy patrzeć na synapsy, różnica szybko maleje. W jednym milimetrze sześciennym kory może znajdować się około miliarda takich połączeń.
A później porównanie zaczyna się rozpadać.
Tranzystor jest bardzo mały i bardzo szybki, ale wykonuje elementarną funkcję. Neuron jest ogromny w skali nanotechnologii i powolny, za to przetwarza wiele sygnałów jednocześnie i współpracuje z tysiącami synaps. Krzem świetnie wykorzystuje powierzchnię. Mózg świetnie wykorzystuje objętość. Procesory osiągają gigaherce. Mózg mieści całą swoją aktywność w budżecie około 20 watów.
Dlatego odpowiedź na pierwotne pytanie zależy od tego, co uznamy za „element”.
Tranzystorów można upakować więcej.
Tyle że po policzeniu samych elementów dopiero zaczyna się ciekawsze porównanie: co każdy z nich potrafi zrobić, z czym jest połączony i ile energii kosztuje jego użycie.
Źródła i dalsza lektura
- Huttenlocher P.R., Synaptic density in human frontal cortex – developmental changes and effects of aging, Brain Research, 1979.
- Gidon A. i in., Dendritic action potentials and computation in human layer 2/3 cortical neurons, Science, 2020.
- IBM Research, TrueNorth: Design and Tool Flow of a 65 mW 1 Million Neuron Programmable Neurosynaptic Chip.
- Intel, materiały techniczne dotyczące architektury Loihi 2 i obliczeń neuromorficznych.
- TSMC, dokumentacja procesu technologicznego N2.
- IEEE, International Roadmap for Devices and Systems 2024 – More Moore.
- Herculano-Houzel S., The human brain in numbers: a linearly scaled-up primate brain, Frontiers in Human Neuroscience, 2009.
