[Half-AI-Generated] 노벨 물리학상 수상자 John Joseph Hopfield : 생물학적 신경망 시스템의 복잡성을 이해하고 계산적으로 모델링하여 다양한 문제를 해결하고자 노력한 연구자.

Image source : https://www.nobelprize.org/prizes/physics/2024/hopfield/facts/

개요

John Joseph Hopfield(이하 Hopfield)의 연구는 1980년대부터 2020년대까지 생물학적 시스템과 신경망의 계산 모델(Computational Model)에 초점을 맞추고 있습니다. 초기에는 생물학적 뉴런의 비동기 병렬 처리와 컴퓨터 시스템의 content-addressable memory를 설명했습니다. 1980년대 중반에는 비선형 아날로그 뉴런을 활용하여 최적화 문제를 해결하였고 이를 위한 신경 회로망 기반 계산 모델을 제시했습니다. 1990년대에는 후각 시스템의 동적 패턴을 탐구하며, 생물학적 신경망 시스템의 물리적 특성을 설명했습니다. 2000년대에는 신경망 내부의 spike 타이밍과 동기화 과정에 대한 분석과 후각 시스템 모델링을 통해 생물학적 시스템의 복잡성을 단순화하려 했습니다. 2010년대에는 Dense Associative Memory의 개념과 생물학적으로 타당한 학습 규칙을 제안하며, 신경망의 학습과 기억 저장 방식을 개선하고자 했습니다. 2020년대에는 생물학적 시스템에서 영감을 받은 계산 모델을 통해 효율적이고 실용적인 알고리즘을 개발하는 데 중점을 두고 있습니다. 이러한 연구의 흐름은 생물학적 시스템의 복잡성을 이해하고 이를 계산적으로 모델링하여 다양한 문제를 해결하는 방향으로 발전해 왔습니다.

1980-01 ~ 1984-12 : 생물학적 시스템과 컴퓨터 시스템에서 나타나는 집단적 특성

단순한 구성 요소(또는 뉴런)의 대량 집합을 기반으로 생성되는 집단적 특성 : 1982에 발표된 논문[1]에서는 생물학적 유기체나 컴퓨터 시스템에서 나타나는 집단적 특성을 단순한 구성 요소(또는 뉴런)의 대량 집합을 기반으로 어떻게 생성할 수 있는지를 설명하였습니다. 이 연구는 content-addressable memory의 물리적 의미를 시스템 상태의 적절한 위상 공간 흐름으로 설명하고, 신경생물학을 기반으로 하면서도 집적 회로에 쉽게 적용할 수 있는 모델을 제시하였습니다. 이 모델의 집단적 특성은 충분한 크기의 하위 부분에서 전체 기억을 올바르게 제공하는 content-addressable memory를 생성합니다. 이 시스템의 상태의 시간적 진화 알고리즘은 비동기 병렬 처리에 기반하고 있습니다. 추가적인 집단적 특성으로는 일반화, 친숙함 인식, 범주화, 오류 수정, 시간 순서 유지 능력이 포함됩니다.

Graded response를 가진 뉴런들로 구성된 대규모 모델 : 1984에 발표된 논문[2]에서는 graded response (or sigmoid input-output relation)을 가진 뉴런들로 구성된 대규모 네트워크 모델을 연구하였습니다. 이 결정론적 시스템은 McCulloch-Pitts 뉴런을 기반으로 한 이전의 확률적 모델과 매우 밀접한 집단적 특성을 가지고 있습니다. 이전 모델들의 content-addressable memory 및 기타 집단적 특성은 graded response를 가진 뉴런들로 구성된 모델에서도 존재합니다. 이러한 집단적 특성이 생물학적 시스템에서 사용된다는 아이디어는 생물학적인 “뉴런”에도 이러한 특성이 존재한다는 사실에 의해 큰 의미를 가지게 됩니다.

학습 및 ‘비학습(unlearning)’에 대한 수학적 및 컴퓨터 모델링 : 1983에 발표된 논문[3]에서는 꿈을 동반한 수면과정의 기능적 역할에 대한 Crick과 Mitchison의 가설을 언급하며, 30-1,000개의 뉴런으로 구성된 신경망에서 일어날 수 있는 학습 및 ‘비학습(unlearning)’에 대한 수학적 및 컴퓨터 모델링을 수행하였습니다. 이 모델 네트워크는 content-addressable memory 또는 associative memory를 가지고 있어 많은 기억을 학습하고 저장할 수 있습니다.

1985-01 ~ 1989-12 : 신경망의 계산 능력과 그 응용 가능성

비선형 뉴런 네트워크를 활용한 최적화 문제 해결 : 1985년에 발표된 논문[4]에서는 비선형 아날로그 뉴런의 네트워크가 Traveling-Salesman Problem과 같은 복잡한 최적화 문제를 해결할 수 있음을 보였습니다. 이 네트워크는 아날로그 입력 정보를 바탕으로 디지털 출력을 빠르게 계산할 수 있으며, 뉴런의 비선형 아날로그 반응과 큰 규모의 네트워크 연결이 계산의 효과성을 높인다고 설명하였습니다.

계산적 신경 회로망 모델의 새로운 개념적 틀 : 1986년 발표된 논문[5]에서는 신경 회로망 모델에서의 계산을 이해하기 위한 새로운 개념적 틀과 최소화 원리를 제시하였습니다. 이 회로는 대칭적인 시냅스 연결을 가진 비선형 모델 뉴런으로 구성되어 있으며, 전자 장치로 구현될 수 있는 새로운 형태의 회로를 제시하였습니다.

학습 알고리즘 제시 : 1987년에 발표된 논문[6]에서는 feed-forward deterministic networks와 on feed-back statistical networks에서 noisy한 입력 데이터와 출력 클래스의 확률 분포 사이의 관계를 학습하여 패턴 분류를 수행하는 방법을 설명하였습니다. 이 알고리즘은 통계적 네트워크의 학습 문제를 Monte Carlo 절차 없이도 해결할 수 있음을 보였습니다.

Non-linear oscillators를 기반으로 한 olfactory bulb의 역할 모델링 : 1988년에 발표된 논문[7]에서는 포유류의 olfactory bulb가 냄새를 구별하는 데 어떤 역할을 하는지 설명하는 수학적 모델을 제시하였습니다. 이 모델은 일종의 non-linear oscillators 그룹이 냄새 입력에 의해 결정되는 진동 활동을 생성하며, 이것이 후각 피질로 이어지는 출력을 생성하는 방식으로 냄새에 대한 판단 과정이 이루어진다고 설명하였습니다.

생물물리학 기반 모델을 통한 sequence 인식 : 1989년에 발표된 논문[8]에서는 포유류의 뇌에서 보이는 전기생리학 및 해부학을 단순화하여 구성한 생물물리학 기반 모델을 통해 sequence 인식을 수행할 수 있음을 보였습니다. 또한 이 모델은 전기생리학적 반응에 대한 정량적 분석을 가능하게 한다는 특징이 있습니다.

1990-01 ~ 1994-12 : 신경망과 생물학적 시스템의 구조와 기능에 대한 이해

물리학과 다른 생물학적 시스템의 독특한 특성: 1994년도에 발표된 이 논문[9]에서는 높은 정보량과 비대칭성의 동적 파괴가 생물학적 시스템과 물리학적 시스템의 차이를 만든다고 설명하였습니다. 생물학적 시스템의 미래 예측 능력은 진화적 가치를 기반으로 발전되어 왔으며, “자유 의지” 또한 동일한 맥락을 가집니다.

후각 처리 신경망의 구조: 1991년도에 발표된 이 논문[10]은 후각에 의존하는 동물들이 어떻게 냄새 원천의 공간적 위치와 개별 냄새의 질을 파악하는 지에 대해 설명하고 있습니다. Olfactory bulb circuitry를 형상화한 적응형 네트워크를 통해 여러 개의 개별적인 냄새 원천의 혼합물에서 질과 강도를 분리하는 문제를 해결할 수 있으며 이 과정에서 시냅스 변화의 동적 패턴이 중요한 역할을 합니다.

신경망의 두 가지 동적 과정: 1992년에 발표된 이 논문[11]에서는 신경망에서는 뉴런의 활동 전위 변화와 시냅스 강도의 변화라는 두 가지 동적 과정이 동시에 일어나며, 이들의 상호작용이 피드백 네트워크에서 특히 중요하다고 설명하였습니다. 이러한 상호작용을 이해하기 위해 Lyapunov 함수가 개발되었으며, 이를 통해 primary visual cortex의 orientation-selective cells의 발달을 묘사할 수 있습니다.

아날로그 신경망과 디지털 표현: 1990년에 발표된 이 논문[12]에서는 인공 신경망 알고리즘을 아날로그 신경망 또는 디지털 표현으로 구현할 때의 특성들에 대해 언급하고 있습니다.

분자 전자 장치: 1991년에 발표된 이 특허[13]에서는 분자 수준의 전자 이동 반응을 통해 정보를 이동시키는 전자 이동 분자 기반의 메모리 장치를 제시하였습니다.

단백질 구조 학습 모델: 1990년도에 발표된 이 논문[14]에서는 단백질 구조의 시퀀스 정보를 얻기 위한 새로운 모델을 제시하였으며, 이는 신경망 모델의 아이디어를 사용하여 단백질 구조 데이터베이스를 통해 자유 매개변수 값을 찾는 학습 알고리즘입니다.

1995-01 ~ 1999-12 : 생물학적 시스템에 대한 이해와 계산적 모델링

신경 세포의 집단 행동과 스파이크 신경망의 동역학 : 1995년의 이 논문[15]에서는 상호 연결된 스파이크 신경 세포의 집합적 행동에서 단기적인 패턴이 주기적인 발화 패턴으로 빠르게 수렴할 수 있다는 사실을 설명했습니다. 이러한 사실을 바탕으로 뉴런의 firing-rate을 기반으로 한 모델에서 생물학적으로 더 실제적인 integrate-and-fire neurons 기반의 모델로 이해를 확장하였습니다.

다양한 감각 처리 작업에서의 공통 신경회로의 재사용 : 1996년에 발표된 이 논문[16]에서는 서로 다른 감각 처리 피질들이 상이한 정보를 처리함에도 불구하고 서로 관련될 수 있는 이유를 설명하였습니다. 이를 위해 time sequence에 대한 새로운 표현이 필요합니다. 최근 사건 이후 경과한 시간은 신경 활동 내에서 표현되어야 하며, 이러한 시간의 표현을 생성하는 데 관여하는 세포의 전기생리학적 특징을 설명하고 있습니다.

액션 포텐셜의 타이밍을 사용한 정보 표현 : 1997년에 발표된 이 논문[17]에서는 생물학적 시스템에서의 정보 표현 방식에 대해 논의하였습니다. 이 논문은 신경 활동을 연속 변수로 표현하는 대신, 액션 포텐셜의 타이밍을 사용하여 정보를 표현하고 계산하는 방법을 제안하였습니다. 이는 생물학적 시스템이 비율 코드(rate code)를 사용하지 않을 수 있음을 시사하는 예들이 많아지고 있으며, 뉴런들이 활동 전위(action potential)로 소통한다는 사실을 기반으로 합니다.

Long-term potentiation : 1998년에 발표된 이 논문[18]에서는 해마에서의 장기 강화(long-term potentiation) 메커니즘을 조사하였습니다. 그는 시냅스의 강도가 디지털 방식(모두 또는 전무)으로 변화할 수 있음을 제안하였으며, 이는 뇌에서의 시냅스 기억 저장이 디지털 방식일 가능성을 제기합니다. (1998-10-15 Long-term potentiation)

Cellular functions을 이해하기 위한 공학 기반 접근 : 1999년에 발표된 이 연구[19]에서는 세포 기능이 여러 상호작용 분자로 구성된 ‘모듈’에 의해 수행된다고 설명하였습니다. 그는 이러한 모듈의 구조와 행동을 이해하기 위해 공학 및 컴퓨터 과학과 같은 합성 과학의 도움을 받을 수 있음을 제안하였습니다. (1999-10-15 Cellular functions)

2000-01 ~ 2004-12 : 생물학적 시스템이 보이는 복잡성의 단순화를 통한 계산 작업 수행

Spiking Neurons와 Synchronization: 2001년의 논문[20]과 2003년의 논문[21]에서는 integrate-and-fire neurons의 동기화가 유사한 발화율을 가진 뉴런들 사이에서 쉽게 이루어질 수 있으며, 이를 통해 “many are equal” 계산을 수행할 수 있다고 설명하였습니다. 뉴런 집단의 활동 전위의 일시적인 동기화는 이러한 뉴런의 입력에 걸친 시공간 패턴의 “인식”을 신호로 사용하며, 이들 사이의 적절한 시냅스 결합은 이들 뉴런의 입력이 거의 동일할 때 동기화를 생성하며, 다른 입력 상황에서는 뉴런이 동기화되지 않거나 약하게 동기화되도록 합니다. 이러한 동기화는 신경망에서 특정 입력 패턴을 인식하는 데 사용될 수 있습니다.

생물학적 후각 시스템의 특성을 모델링한 인공 후각 시스템 : 2002년[22] 및 2003년의 논문[23]에서는 생물학적 후각 시스템의 특성을 모델링하여 인공 후각 시스템을 개발하고, 이를 통해 강력한 냄새 인식 및 분할 기능을 구현하였습니다. 이러한 시스템은 다양한 냄새 농도와 강한 방해 냄새의 존재 상황에서도 강력한 성능을 보입니다.

생화학적 시스템을 통한 계산 작업 : 2004년에 발표한 논문[24]에서는 신경망과 생화학적 시스템이 유사한 구조를 가지고 있으며, 간단한 생화학적 시스템을 통해 다양한 계산 작업을 수행할 수 있다고 제안하였습니다.

Spike-Timing에 기반한 가소성: 2004년에 발표한 논문[25]에서는 신경망의 self-repair를 위한 spike-timing 기반 가소성 규칙을 제안하였으며, 이는 새로운 작업을 학습하는 데에 사용될 수 있습니다.

Temporal Sequence Recognition: 2000년에 발표한 논문[26]에서는 복잡한 시간적 시퀀스를 인식하는 문제를 해결하기 위해 간단한 신경망 모델을 제안하였으며, 이는 음성 인식과 같은 다양한 감각 문제에 적용될 수 있습니다.

Neuroscience 이론의 역할: 2000년에 발표한 논문[27]에서는 신경 과학에서 이론의 역할에 대해 논의하며, 다양한 이론적 접근이 신경 과학 연구에 기여할 수 있음을 강조하였습니다.

2005-01 ~ 2009-12 : 신경망의 안정성과 수렴성, 기억과 학습, 신경 회로의 동기화

Hopfield Network : Hopfield 네트워크[28]는 재귀 신경망의 일종으로, 활동 역학에 대한 Lyapunov 함수가 존재하도록 시냅스 연결 패턴이 설계되어 있습니다. 초기 상태에서 시작하면 시스템의 상태는 Lyapunov 함수의 (국소) 최소값으로 진화합니다. 이는 안정적인 상태로 수렴하는 특성을 가지고 있습니다.

새로운 동적 계산 회로 : 2005년에는 새로운 동적 시스템과 계산 회로를 소개하였습니다. [29] 이 시스템은 Lyapunov 함수를 통해 전역적으로 수렴하여 고유한 안정 평형 상태에 도달합니다. 이 회로는 신경망 유형으로, N개의 셀을 고이득 증폭기로 나타내며, 최대 2N개의 상호 연결을 가집니다. 이를 바탕으로 입력 목록의 K개의 가장 큰 요소의 순위를 신호로 나타내는 “K-selector”를 구현하였습니다.

작은 단서를 활용한 메모리 탐색 과정 : Excitatory-inhibitory circuit 모델은 작은 단서를 기반으로 기억을 빨리 찾지 못하는 문제를 풀기 위해 제한된 능력을 여러 번 사용하여 더 어려운 계산이나 기억 회상을 순차적으로 수행할 수 있게 합니다. 2008년에 발표된 논문[30]에서는 이와 관련된 수학적 원리를 설명하였습니다.

감마 주파수 진동의 역할 탐구 : 2008년의 논문[31]은 뇌에서 흔히 나타나는 감마 주파수 진동의 기능적 기여를 이해하기 위한 연구입니다. 실험은 공통의 감마 진동 시냅스 입력을 받는 뉴런 집단에서 스파이크 동기화를 분석하여 발화율의 유사성이 동기화의 주요 결정 요인임을 보여줍니다.

동물들의 순서 학습 : 2009년의 이 논문[32]에서는 동물들이 시간에 따른 행동 순서를 학습하는 방법을 다룹니다. 특히, 전두엽 피질의 뉴런이 시간에 따라 변화하는 발화율을 통해 시퀀스를 식별하는 방법을 모델링하였습니다.

동기화를 기반으로 한 인식 : 2005년의 이 논문[33]에서는 동기화를 기반으로 한 integrate-and-fire models을 사용하여 간단한 구조만으로도 감각 처리 기능을 구현할 수 있음을 보였습니다. 이 과정에서 자극들의 시간적 특성이 중요한 역할을 한다는 점을 “What moves together is an object.”라는 구절로 표현하였습니다.

2010-01 ~ 2014-12 : 신경 시스템과 스파이킹 뉴런 모델을 통한 동물 연구

Mental exploration, hippocampus, spiking neurons : 2010년의 이 연구[34]에서는 동물이 새로운 상황에서 효과적인 행동을 취할 수 있도록 하는 사고 과정에 대해 설명하였습니다. 이 연구에서는 설치류의 해마를 기반으로 한 신경 시스템을 가진 모델 동물을 제시하였고, 이 모델은 이전에 학습한 공간 세계에서 유용한 경로를 찾기 위해 mental exploration을 수행합니다. 이 과정에서 선택된 경로를 정신적으로 되새기고, 이 결과가 동물의 실제 이동 행위로 변환됩니다. 이 모델링은 스파이크 주파수 적응을 가진 스파이킹 뉴런을 기반으로 하며, 적응 과정을 통해 정신적 탐색에 필수적인 신경 활동 패턴의 지속적인 진화가 발생합니다. 또한 성공적인 정신적 탐색은 spike-timing dependent 시냅스 가소성을 통해 기억됩니다. 이 시스템은 위치에 관심이 있는 동물의 episode memory 역할도 수행합니다.

Diffusion, circulatory system, hemoglobin : 2012년의 이 연구[35]는 산소, 대사물질 및 대사 산물의 확산이 작은 생물에게는 적절한 수단이지만, 큰 동물에게는 효과적이지 않다고 설명하였습니다. 이를 해결하기 위해 순환계가 발달했으며, 헤모글로빈은 산소 운반에 중요한 역할을 합니다. 물은 산소 운반에 적합하지 않기 때문에, 헤모글로빈은 산소가 약하게 결합할 수 있는 분자로서 순환계에서 산소의 겉보기 용해도를 증가시킵니다. 이 논문은 헤모글로빈의 독특한 물리화학적 특성을 얻는 물리적 메커니즘에 주로 초점을 맞추고 있습니다.

Path planning, navigation, synaptic plasticity : 2013년의 이 연구[36]는 동물, 로봇 공학, 물류 및 운송에서 효율적인 경로 계획과 내비게이션의 중요성을 강조했습니다. 이 연구에서는 대뇌에서 대체 경로의 병렬 mental exploration을 통해 공간 내비게이션 문제를 신속하게 해결할 수 있는 모델을 제시하였습니다. Spiking의 파동이 해마와 유사한 네트워크를 통해 전파되어 시냅스 연결성을 변화시킵니다. 결과적으로 시냅스 변화의 벡터 필드는 시뮬레이션된 동물을 적절한 목표 위치로 안내합니다. 이 모델은 목표에 대한 최적의 해결책을 찾거나 여러 환경에서 학습하고 내비게이션할 수 있습니다.

Solid state physics, Bell Labs : 2014년의 이 리뷰[37]에서는 물리학의 하위 분야가 어떻게 태어나고, 확장되고, 발전하는지를 설명하였습니다. 고체 물리학은 30년 동안 활발한 분야로 자리 잡았으나, 결국 응집 물질, 재료 과학, 생물 물리학, 복잡성 및 양자 광학과 같은 이름으로 재편성되었습니다. 이 리뷰는 주요 대학 학과와 벨 연구소를 통해 고체 물리학 하위 분야의 궤적을 추적하였습니다.

Physics, biology, interdisciplinary : 2014년의 이 발표[38]에서는 물리학과 생물학의 경계에서 활동하는 자신의 개인적인 관점을 제시하였는데, 생물학으로 이동하는 것이 아니라 물리학을 수행할 수 있는 또 다른 장소를 탐구한다는 관점을 제시하였습니다.

2015-01 ~ 2019-12 : Associative Memory 모델과 생물학적 학습 규칙을 통한 딥러닝의 한계와 생물학적 타당성 문제의 해결

Dense Associative Memory와 Neural Networks의 관계 : 2016년에 제시한 연구[39]는 Dense Associative Memory 모델이 신경망, 특히 딥러닝에서 사용되는 신경망과의 관계를 설명합니다. 이 모델은 많은 패턴을 저장하고 회상할 수 있으며, 이는 신경망의 활성화 함수와 관련이 있습니다. 이 연구는 XOR 논리 게이트와 MNIST 데이터셋의 손글씨 숫자 인식을 통해 Dense Memory의 유용성을 보여줍니다.

Deep Neural Networks의 문제점과 Dense Associative Memory :2018년에 제시한 연구[40]에서는 딥러닝의 문제점으로 학습된 모델이 의미 없는 데이터 포인트를 생성하거나 작은 변화에도 잘못된 분류를 하는 경우가 있다는 점을 언급하였습니다. 이 연구에서는 이러한 문제를 Dense Associative Memory 모델을 통해 해결하고자 하였으며, 이는 인간의 인식과 더 유사한 학습 알고리즘을 설계하는 데 기여할 수 있다고 설명하였습니다.

Biologically Plausible Learning Rule : 2019년에 제시한 논문[41]에서는 전통적인 역전파 알고리즘이 생물학적으로 타당하지 않다는 점을 지적하며, Hebbian Learning에 기반한 새로운 학습 규칙을 제안합니다. 이 규칙은 지역적 억제를 활용하여 완전히 비지도 학습 방식으로 초기 특징을 학습할 수 있도록 합니다.

Local Hebbian Learning의 가능성 : 2019년에 제시한 논문[42]에서는 Local Hebbian Learning이 대규모 이미지 데이터셋에서 컨볼루션 필터를 학습할 수 있음을 보여주었으며, 이는 전통적인 역전파 방식과는 다른 접근입니다. 이 연구는 인간 시각에 중요한 망막 적응을 모방하는 패치 정규화를 통해 성능을 향상시킵니다.

Neural Network의 Emergent Computational Dynamics : 2015년에 제시한 논문[43]에서는 생물학적 기반의 신경망이 시간에 따라 변화하는 자극 패턴을 인식하는 데 어떻게 사용될 수 있는지를 설명합니다. 이러한 네트워크는 복잡한 문제를 해결하는 데 사용될 수 있는 새로운 계산 알고리즘의 구성 요소가 될 수 있습니다.

Feynman과 Computation : 2018년에 제시한 이 연구[44]에서는 Richard Feynman의 강의를 통해 quantum computation의 개념을 설명합니다. Feynman은 양자 시스템이 고전적 컴퓨터와 다르다는 점을 강조했으며, 이는 후에 다른 연구자들에 의해 더 발전되었습니다.

Associative Memory와 Neural Networks의 Duality : 2017년에 제시한 이 연구[45]에서는 Associative Memory는 전통적으로 안정된 지점으로 수렴하는 역학적 회귀 신경망으로 설명되고, 딥러닝은 일반적으로 동적 요소가 없는 전방향 신경망을 사용하지만, 패턴 분류 문제에 적용할 때 이러한 두 가지 관점 사이에는 간단한 duality가 존재한다고 하였습니다. Associative Memory의 관점에서 이러한 특성은 주목할 가치가 있으며, 이는 훨씬 더 많은 기억을 저장할 수 있게 해줄 수도 있습니다.

2020-01 ~ : 생물학적 시스템의 복잡한 상호작용을 단순화하여 더 효율적이고 실용적인 알고리즘을 개발

Dense Associative Memories : 2020년의 연구[46]에서는 “Dense Associative Memories” 또는 “modern Hopfield networks”라는 개념을 소개합니다. 이 네트워크는 특징 공간의 차원에 비례하여 지수적으로 많은 기억을 저장하고 신뢰성 있게 검색할 수 있는 능력을 가지고 있습니다. 그러나 이러한 네트워크의 단순한 구현은 생물학적이지 않다고 합니다. 왜냐하면 많은 신경 세포들 사이에 다체 시냅스 접합이 필요하기 때문입니다. 이 연구에서는 큰 연상 기억을 생물학적으로 타당하게 설명할 수 있는 모델을 제시하였습니다.

Fruit fly의 후각 회로에서 영감을 받은 BioHash 알고리즘 : 2020년의 다른 연구[47]에서는 fruit fly Drosophila의 후각 회로에서 영감을 받은 새로운 지역 민감 해싱(LSH) 알고리즘인 FlyHash를 소개합니다. FlyHash는 고차원 희소 해시 코드를 생성하며, 기존의 LSH 알고리즘보다 유사성 검색에서 우수한 성능을 보입니다. 이 연구에서는 FlyHash와 신경생물학에서의 희소 확장 표현의 보편성에서 영감을 받아 데이터 기반으로 희소 고차원 해시 코드를 생성하는 새로운 해싱 알고리즘 BioHash를 제안합니다.

출처 정보:

• [1] 1982 – https://www.pnas.org/doi/abs/10.1073/pnas.79.8.2554
• [2] 1984 – https://www.pnas.org/doi/abs/10.1073/pnas.81.10.3088
• [3] 1983 – https://www.nature.com/articles/304158a0
• [4] 1985 – https://link.springer.com/article/10.1007/bf00339943
• [5] 1986 – https://www.science.org/doi/abs/10.1126/science.3755256
• [6] 1987 – https://www.pnas.org/doi/abs/10.1073/pnas.84.23.8429
• [7] 1988 – https://link.springer.com/article/10.1007/BF00200803
• [8] 1989 – https://www.sciencedirect.com/science/article/pii/B9780121489557500217
• [9] 1994 –https://www.sciencedirect.com/science/article/pii/S0022519384712112
• [10] 1991 – https://www.pnas.org/doi/abs/10.1073/pnas.88.15.6462
• [11] 1992 – https://ieeexplore.ieee.org/abstract/document/227186/
• [12] 1990 – https://iopscience.iop.org/article/10.1088/0954-898X/1/1/003/meta
• [13] 1991 – https://patents.google.com/patent/US5063417A/en
• [14] 1990 – https://www.sciencedirect.com/science/article/pii/089855299090048D
• [15] 1995 – https://www.pnas.org/doi/abs/10.1073/pnas.92.15.6655
• [16] 1996 – https://www.pnas.org/doi/abs/10.1073/pnas.93.26.15440
• [17] 1997 – https://collaborate.princeton.edu/en/publications/computing-with-action-potentials
• [18] 1998 – https://www.pnas.org/doi/abs/10.1073/pnas.95.8.4732
• [19] 1999 – https://www.nature.com/articles/35011540
• [20] 2001 – https://www.pnas.org/doi/abs/10.1073/pnas.98.3.1282
• [21] 2003 – https://www.sciencedirect.com/science/article/pii/S1631069103000179
• [22] 2002 – https://pubs.acs.org/doi/abs/10.1021/bk-2002-0825.ch022
• [23] 2003 – https://www.cell.com/neuron/fulltext/S0896-6273(03)00120-X
• [24] 2004 – https://proceedings.neurips.cc/paper/2004/hash/65f2a94c8c2d56d5b43a1a3d9d811102-Abstract.html
• [25] 2004 – https://www.pnas.org/doi/abs/10.1073/pnas.2536316100
• [26] 2000 – https://www.pnas.org/doi/abs/10.1073/pnas.250483697
• [27] 2000 – https://www.nature.com/articles/nn1100_1204
• [28] 2007 – http://scholarpedia.org/article/Hopfield_Network
• [29] 2005 – https://ieeexplore.ieee.org/abstract/document/1427904/
• [30] 2008 – https://ieeexplore.ieee.org/abstract/document/6796900/
• [31] 2008 – https://www.pnas.org/doi/abs/10.1073/pnas.0803183105
• [32] 2009 – https://arxiv.org/abs/0910.2660
• [33] 2005 – https://ui.adsabs.harvard.edu/abs/2005APS..MARV22001E/abstract
• [34] 2010 – https://www.pnas.org/doi/abs/10.1073/pnas.0913991107
• [35] 2012 – https://books.google.com/books?hl=en&lr=&id=NHWFFmu7AC4C&oi=fnd&pg=PA238&dq=info:3KwVeyliljoJ:scholar.google.com&ots=00le9izu9q&sig=GE-IaVRdCoS18j8BpS50CqtomIE
• [36] 2013 – https://www.frontiersin.org/articles/10.3389/fncom.2013.00098/full
• [37] 2014 – https://www.annualreviews.org/content/journals/10.1146/annurev-conmatphys-031113-133924
• [38] 2014 – https://iopscience.iop.org/article/10.1088/1478-3975/11/5/053002/meta
• [39] 2016 – https://proceedings.neurips.cc/paper_files/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html
• [40] 2018 – https://direct.mit.edu/neco/article-abstract/30/12/3151/8426
• [41] 2019 – https://www.pnas.org/doi/abs/10.1073/pnas.1820458116
• [42] 2019 – https://arxiv.org/abs/1908.08993
• [43] 2015 – https://direct.mit.edu/neco/article-abstract/27/10/2011/8086
• [44] 2018 – https://www.taylorfrancis.com/chapters/edit/10.1201/9780429500459-1/feynman-computation-john-hopfield
• [45] 2017 – https://ui.adsabs.harvard.edu/abs/2017APS..MAR.P5009K/abstract
• [46] 2020 – https://arxiv.org/abs/2008.06996
• [47] 2020 – https://proceedings.mlr.press/v119/ryali20a.html

About the Author

Inforience

Administrator

Visit Website View All Posts