Novelism

# 이 글은 뇌피셜을 좀 많이 포함하고 있습니다. 검증되지 않은, 주장이라고 하기에도 부족한 그냥 초기 가설 정도일 뿐입니다. 거대 언어모델이 가장 범용 인공지능에 가까워 보이는 것은 뭔가 중요한 의미가 있을 것입니다. 그것은 어쩌면 언어의 힘일지도 모릅니다. 우리는 언어로 표현하기 전에, 어떤 생각을 떠올릴 수 있습니다. 하지만 그렇게 떠올린 생각은 명확하지 않습니다. 그리고 그것을 명확하게 하기 위해 언어로 표현하려고 시도합니다. 그리고 그 생각을 어떠한 완결성을 가지는 모순 없는 언어로 표현되면 그것을 이해한 것처럼 느낍니다. 언어는 신비한 것입니다. 모호한 생각만이 있는 것이 중첩된 양자상태라 한다면, 그것을 언어로 표현한 것은 특정 상태로 콜랩스된 상태처럼 느껴집니다. 처음 든 생각이 언어로 표..

이런저런 이유로 메모리가 많이 필요해서 32GB 4개를 구매했습니다. 주로 LINCS 데이터를 한 번에 메모리에 올리려는 이유로... 5600 MHz 짜리가 있는데, 다른 회사 제품들은 풀뱅크시 성능 하락이 크다고 해서 개당 5만 원 정도 더 비싼 하이닉스 제품을 샀는데 (하이닉스 DDR5 5600 MHz 32GB*4) 풀뱅크시 3800 MHz밖에 안 나오네요. 2개만 장착하면 5600 MHz로 잘 작동합니다. 바이오스에서 기본적으로 3600 MHz로 잡아서 수동으로 3800 MHz로 올렸습니다. 4000 MHz 이상으로 올리면 재부팅할 때 비프음이 3번 (메모리 에러) 울리고 부팅이 안됩니다. 배터리 제거하여 바이오스 초기화 한 후 다시 부팅했습니다. 개당 16만 원인데 다른 회사의 비슷한 클럭 제품들..

최근에 노트북을 구매하였는데 이상하게 컴퓨터가 자주 멈춰버렸습니다. 한 1분에 1회, 3~5초 정도 렉이 걸렸습니다. 작업관리자를 켜보니 렉 걸릴 때마다 SSD 디스크 사용률이 100%로 올라가더군요. 뭐 찾아보면서 이거 저거 다 해봤습니다. 최적화도 하고 이런저런 옵션도 건드리고, 윈도 11에서 10으로 변경도 해보고... 아무튼 문제는 SSD인 거 같은 느낌이 들더라고요. adata 840 legend가 장착되어 있었습니다. 사실 예전에 adata에 대해선 안 좋은 경험이 있습니다. adata에서 나온 USB 3.0을 샀는데, 프리징이 좀 심했습니다. SSD나 USB 3.0 처음 나올 시기에 컨트롤러 문제로 프리징이 좀 많이 발생하였죠. 최근에는 거의 보지 못했던 상황이지만... 그래서 adata 프..

이번에 컴퓨터를 새로 사면서 세팅 고생을 많이 했습니다. nvidia-driver 문제입니다. linux를 처음 설치하면 xserver-xorg-video-nouveau 로 설치되어 있지만 드라이버 매니저나 apt나 nvidia에서 직접 받아서 설치하거나... 뭐 다양하게 드라이버를 설치할 수 있는데 이상하게 화면 해상도가 제대로 안잡히거나, nvidia-smi에서 에러가 났습니다. 이미 해결을 해서 에러 문구가 뭐였는지 정확히 기억은 안 나지만.. 아마도 nvidia-smi 를 실행하면 nvidia-smi has failed because it couldn't communicate with the nvidia driver 같은 식으로 나온 것 같습니다. 음... 허튼짓을 좀 많이 했지만... UEFI ..

2007년은 제가 대학원에 입학한 해이고, 본격적으로 컴퓨터를 활용한 계산 연구를 시작한 해입니다. 그리고 멀티코어 CPU들이 보급되기 시작한 시기이기도 합니다. 뭐 서버는 그전부터 2개의 CPU를 장착하거나, 여러 서버들을 연결하여 클러스터를 구성하고 있었습니다만... 이때쯤 본격적으로 개인용 컴퓨터(PC) 에도 여러 개의 코어가 장착되어 병렬 컴퓨팅을 활용할 수 있게 되었습니다. 아무튼 제가 연구를 시작할 시기부터 병렬 컴퓨팅은 (컴퓨터 자원을 어느 정도 필요로 한다면) 당연히 활용해야 하는 기술이었습니다. 멀티 코어 CPU 외에도 한 코어를 논리적으로 2개의 코어처럼 취급하려는 하이퍼스레딩 (인텔) 이 나오긴 했지만, 실제 성능 향상이 거의 없어서 활용하지 못하다가 최근에는 30% 정도의 성능 향상..

wsl2에서 pytorch 를 설치하려다가 cuda 지원되는 버전이 잘 설치가 안돼서 좀 찾아봤습니다. 결국이리저리 시도 하다가 해결을 했습니다. pytorch에서 cuda를 사용하기 위해선 당연히 cuda가 지원되는 그개픽카드가 있어야 합니다. 공식 홈페이지에선 conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia 를 입력하라고 나옵니다만...pytorch 가 gpu 버전 대신 cpu 버전으로 설치돼버리더군요. 저 중에 pytorch-cuda 라는게 별로 있어도 도움이 안 되는 듯... 일단, linux에 별개의 그래픽카드 드라이버를 설치할 필요는 없고, windows에서만 최신 버전의 그래픽 카드 드라이버..

계산과학 분야의 많은 프로그램들은 linux (서버) 환경에서 사용하도록 만들어져 있습니다. 맥이나 윈도우에서 사용 가능한 것들도 있지만, 아무래도 대규모 계산은 고성능 서버 (혹은 클러스터)에서 진행하는 것이 일반적이고, 이런 서버들은 주로 linux 운영체제를 사용합니다. 가벼운 연산의 경우는 PC나 워크스테이션 한대로도 어느 정도 할 수도 있고, 특히 CUDA 같은 GPU 컴퓨팅이 등장하면서 개인용 컴퓨터로도 (딥러닝 같은) 고성능의 연산이 가능해졌지만, 이런 작업에서도 여전히 linux를 많이 사용합니다. Microsoft에서 Windows Subsystem for Linux (WSL) 이라는 것을 제공합니다. 말 그대로, 윈도우에서 리눅스를 서브시스템으로 사용할 수 있게 하는 것입니다. 윈도우 ..

이전에 쓰던 컴퓨터 상태가 영 안 좋아서 급하게 새로 샀습니다. 다나와에서 부품을 선택했습니다. CPU: AMD 라이젠7-5세대 7700X (라파엘) (정품) 메인보드: ASUS TUF Gaming B650-PLUS 대원씨티에스 메모리: 삼성전자 DDR5-4800 32GB * 2 SSD 삼성전자 PM9A1 M.2 NVMe 병행수입 (2TB) * 2 GPU: INNO3D 지포스 RTX 4070 Ti D6X 12GB X3 케이스: 아이구주 PRAY 30 PLUS (블랙) 파워: 마이크로닉스 Classic II 850W 80PLUS GOLD 230V EU 풀모듈러 쿨러: 잘만 CNPS9X PERFORMA (BLACK) (이 보드에는 장착이 안되었습니다.) 3R시스템 RC400 찾아봤더니 부품별로 따로 구매하는..

며칠 전 갑자기 다른 사람과 대화하다가 최근 많이 사용되는 네트워크 이외에 다른 새로운것이 더 나올 수 있을까 라는 주제가 떠올랐습니다. 그래서 그 다음날 좀 생각하다가 다음 같은 아이디어가 떠올랐습니다. partially connected neural network (PCNN) 에 대한 새로운 가능성 입니다. 배경설명: artificial neural network 에서 많이 사용되는 네트워크 구조는 fully connected neural network (FCNN) recurrent neural network (RNN; LSTM, GRU 등) convolutional neural network (CNN; 1D, 2D, 3D CNN 등) graph convolutional neural network (..

새로 산 컴퓨터에 linux mint 20.3 cinnamon를 설치했습니다. 도중에 여러 문제가 발생했는데, 대부분 UEFI 때문입니다. 지금까지는 레거시 (BIOS)를 사용했었는데, 레거시로 하려 했더니 다음과 같은 에러가 났습니다. "Ubuntu Error: The Partition table format in use on your disks normally requires you to create a separate partition for boot loader code. This partition should be marked for use as a Reserved BIOS boot area and should be at least 1MB in size. Fix this or else you w..