Novelism

# 이 글은 뇌피셜을 좀 많이 포함하고 있습니다. 검증되지 않은, 주장이라고 하기에도 부족한 그냥 초기 가설 정도일 뿐입니다. 거대 언어모델이 가장 범용 인공지능에 가까워 보이는 것은 뭔가 중요한 의미가 있을 것입니다. 그것은 어쩌면 언어의 힘일지도 모릅니다. 우리는 언어로 표현하기 전에, 어떤 생각을 떠올릴 수 있습니다. 하지만 그렇게 떠올린 생각은 명확하지 않습니다. 그리고 그것을 명확하게 하기 위해 언어로 표현하려고 시도합니다. 그리고 그 생각을 어떠한 완결성을 가지는 모순 없는 언어로 표현되면 그것을 이해한 것처럼 느낍니다. 언어는 신비한 것입니다. 모호한 생각만이 있는 것이 중첩된 양자상태라 한다면, 그것을 언어로 표현한 것은 특정 상태로 콜랩스된 상태처럼 느껴집니다. 처음 든 생각이 언어로 표..

며칠 전 갑자기 다른 사람과 대화하다가 최근 많이 사용되는 네트워크 이외에 다른 새로운것이 더 나올 수 있을까 라는 주제가 떠올랐습니다. 그래서 그 다음날 좀 생각하다가 다음 같은 아이디어가 떠올랐습니다. partially connected neural network (PCNN) 에 대한 새로운 가능성 입니다. 배경설명: artificial neural network 에서 많이 사용되는 네트워크 구조는 fully connected neural network (FCNN) recurrent neural network (RNN; LSTM, GRU 등) convolutional neural network (CNN; 1D, 2D, 3D CNN 등) graph convolutional neural network (..

머신러닝이나 통계분석에서 주로 사용하는 용어들 중에 예측 (prediction), 판별(discrimination), 분류(classification), regression(회기), 라는 용어들이 있습니다. 사전적 의미에서 예측은 앞으로 있을 일을 미리 헤아려 짐작함 이고, 판별은 판단하며 구별함 이긴 하지만, 과거를 보고 미래를 짐작하는 것 (예측)이나 데이터의 주어진 특성를 보고 미지의 특성을 판별 하는 것은 기술적으로 같은 것입니다. 데이터의 특성 중 입력으로 주어진 것을 feature 라 부르고, 예측해야할 대상을 label 이라 부릅니다. 어떤 함수 f로 모델링한 경우라면, Y = f(X) 에서 X는 feature이고, Y는 label 입니다. 예측해야할 label이 어떤 부류에 속하는가를 예측..

이미 딥러닝이 알려진지도 7년이 넘게 지났으니 생소한 것도 아니고, 처음 입문하는 사람이 아니라면 딥러닝이 무엇인지 모르는 사람도 많지 않을 것 같습니다. 5년 전쯤만 해도 직접 딥러닝을 사용하는 사람이 아닌 경우, 학회에서 발표하는 경우에도 머신러닝과 딥러닝의 개념을 잘못 생각하시는 분들이 많았습니다. 딥러닝 (deep learning)은 머신러닝 (machine learning, 기계학습)의 한 분야입니다. artificial neural network (ANN, 인공 신경망)에서 hidden layer 가 늘어난 deep neural network (DNN), 혹은 비슷한 네트워크 구조인 Restricted Boltzmann Machine (RBM)과 Deep Belief Network (DBN)에..

인공지능의 정의는 그렇게 명확하게 와닿지 않습니다. 지능 같은 것을 인간이 컴퓨터로 구현한 것을 인공지능이라고 말할 수 있을 텐데, 그 지능이라는 게 무엇인지도 그리 명료하지 않기 때문입니다. 하나씩 이야기해보면, 사물 인지, 수치 계산 능력, 논리적 사고, 추론, 학습능력 등 여러 가지 요소들이 있습니다. 그리고 그 요소들은 어찌 보면 서로 상당히 다르기도 합니다. 인간의 지능은 이런 다양한 요소가 총체적으로 어우러져서 나타나는 것입니다. 이런 요소들 중 하나만 떼어서 생각하면 우리가 일반적으로 생각하는 지능과는 좀 다르게 느껴집니다. 예를 들어 계산기는 계산을 잘하는데, 우리가 그것을 굳이 지능이라고 부르지는 않습니다. 계산기가 보통 사람보다 계산 잘한다고 해서 그 계산기가 사람보다 지능이 높다고 이..