:: 게시판
:: 이전 게시판
|
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
25/05/07 13:26
예전에 한 강연자가 얘기한 것도 비슷한 맥락이었던 같습니다. 한국에서 과학 분야 노벨상이 나오지 못한 여러 이유 중 하나가 빠른 경제성장에 맞춰온 최적화 때문이라고 하더군요. 빨리 정답을 알아내서 최단 기간으로 따라잡는 속도전 분위기에서 실패에 대한 복기나 덜 중요한 주제에 대한 관심이 부족했었다고. 공식을 만들고 길을 뚫은 자와 공식을 이용해서 최단 거리 길로 추격해서 비슷한 위치에 서 있는 둘의 실력은 큰 차이가 있다고.
25/05/07 13:37
좋은 얘기네요. 이미 지식이 있는 경우에도, 먼저 알기 전에, 스스로 생각해보는 시간을 갖는게 필요한 것 같아요. 먼저 모든 지식을 이해하고 암기한 후에, 그 다음에 응용과 창조를 하면 된다는게 우리 사회의 통념이었다면, 지식을 일부만 접한 상태에서, 스스로 생각을 해보는 거죠. 그리고나서, 추가 지식을 습득하는 거죠. 그건 공식을 만들고 길을 뚫은자와 유사한 과정을 밟게 되는 것일 테니까요. — 그 스스로 생각하는 과정과 함께, 어쩌면 토의나 경험도 해야 하고, 그러다보면 시간을 많이 투자해야겠지만, 그렇게 다져진 사람과 그저 암기한 사람은 창조력에 있어서 차이가 있는 것이겠죠. 암기에 집중한 사람이 지식은 더 많을 수 있겠지만, 결국 스스로의 판단력과 창의력으로 승부가 나는 길에서는 점점 뒷심이 약해지면서 뒤쳐지거나, 혹은 경쟁이 안 된다는 걸 알고 낙오하게 될 테고요.
25/05/07 14:13
유사과학 소리를 들을 각오가 되어 있어야 큰 진전도 할 수 있는 법이겠죠. 남이 짜놓은 틀 위에서만 깨작대면 당연히 자그마한 변화에 불과할 뿐이고요. 하지만 그 자그마한 변화들이 모여서 둑을 부숩니다. 결코 저변도 없는 곳에서 뜬금없이 튀어나오지 않아요. 우리나라 몇년 안됐습니다. 조급함을 버려야 할 필요가 있어요. 과학만 그런게 아니라 다른 분야도 마찬가지입니다. 특히 정치가 그렇죠. 어쩌다 좋은 대통령 만나도 소용없어요. 저변이 받혀주지 못한다면 잃게 되고, 사유 없이 제도를 심어봤자 썩거나 말라죽게 됩니다. 무엇이 옳은지는 계산할 수 있어도 그에 걸맞는 책임과 행동은 따라오지 못하는 사회니까요.
25/05/07 14:42
맞는 말씀이라 생각합니다. 예술의 경우에도 훌륭한 예술가들이 생겨나려면, 관객의 수준이 높아져야 한다고 봅니다. 결국 관객들이 피드백을 줄 테고, 그런 환경에서 다른 예술가들도 영향받을 테고, 그러한 관객들과 예술가들이 바로 특정 예술가의 환경이 될 테니까요. 수준높은 관객층의 존재가 바로 예술의 인프라라 할 수 있겠죠. 그런 관객이 없다면, 외국에 나가서 활약하는 수밖에 없겠고요.
여러 선진국의 경우, 지적 호기심이 대단한 사람들, 그리고 탁월성에 대한 열망이 대단한 사람들이 있어서, 그것이 학문의 인프라가 되고, 기술의 인프라가 되고 있는 거라 생각합니다. 직접 혁신을 이뤄내지 못하더라도, 결국은 협업한 거라 할 수 있겠지요. 팀플레이로 이뤄낸 성취이자, 팀플레이로 조직된 역량이라 할 수 있겠지요. 저 사람들 정말 진심이다 이렇게 느낄 때, 그 과실과 영광을 누릴만한 자격이 있구나 이런 생각이 들기도 합니다.
25/05/07 16:51
좋은 글이네요.
노벨상 수상자가 수십년 전에 처음 그 연구를 시작했을 때 과연 그 연구가 수십년 뒤에 노벨상을 받을 거리 생각한 사람은 얼마나 될까요? 아마 그 자신도 처음 시작할 때는 몰랐을 가능성이 높다고 생각합니다. 그냥 하다 보니까 된 거 아닐까요. 연구를 지원할 때 [될 것 같은 것]만 지원하면 검증된 분야를 좀 더 깊게 팔 수는 있어도, 아예 뚫어내서 새로운 분야를 만드는 그런 연구는 지원하기 힘들 것 같아요. 예전에 최재천 교수님이 하신 말씀 중에 [씨를 뿌리듯이 연구비를 지원하면 좋겠다]던 말씀이 기억에 남습니다. 그런 기초연구들에 뭐 거액을 투자할 필요도 없을 것 같고, 그저 예측가능성과 지속적인 투자만 이뤄지면 좋겠어요.
25/05/07 17:53
아마 과학기술 연구에 있어 장비의 영향이 점점 중요해져왔을 거라 생각해요. 그러면 돈이 중요하고, 그 돈을 주는 사람들 또는 시스템이 중요해지는 것이겠죠. 돈이 많이 들수록, 대체로 관료적인 것이 많아지기 쉬울 거라 생각하고요. 그런데 관료들은 안전한 것 혹은 확실한 것을 선호하는 경향이 있겠죠. 그러나 이 부분은 우리나라만 문제를 겪는게 아닌 걸로 알고 있고요. 그러나 선진국들은 앞서 카리스마 즉 위대한 과학자들이 많이 배출되었고, 그로인해 국가가 부강해진 인상적인 경험들이 있고, 또한 그들이 남긴 문화가 있고 제도가 있고 말들이 있으니, 더욱 도전적인 쪽으로 투자가 이뤄지기 쉬운 것이겠죠.
그리고 장비의 영향이 클 경우, 고가의 장비를 충분히 구매할 수 있는 돈 많은 국가가 유리한 건 물론이고, 또한 그 장비를 직접 만들어낼 수 있는 국가가 유리한 거라 봐요. 일본이 노벨상에 유리한 이유는, 소재 ・ 부품 ・ 장비에서의 능력이 뒷받침되기 때문일 거라 생각하고요. 그냥 사다 쓰면 되는 거 아닌가 싶지만, 자신의 연구에 장비를 맞춤형으로 만들어낼 수 있는지가 문제이고, 그 장비를 얼마나 잘 이해하고 잘 사용할 수 있는지가 문제겠죠.
25/05/07 18:07
좋은 글 감사드립니다.
어렴풋이 가지고만 있던 사고를 작성해 주신 '회피와 기회'라는 키워드와 엮어 사유해 보니 조금 더 논리적으로 정립되는 느낌이 드네요.
25/05/07 18:19
앗.. 옅은 지식으로 질문드립니다만,
동일 층의 객체와 연결된다면 볼츠만 머신과 셀프어텐션의 복잡도는 같고, 계산할 정보의 양은 오히려 후자가 더 많은 것처럼 느껴집니다. 이것이 극복된 것은 그냥 하드웨어의 발전으로 인함일까요?
25/05/07 20:07
트랜스포머에는 복잡한 셀프어텐션뿐만 아니라, 단순한 피드포워드가 있으니까요.
셀프어텐션을 수평연결로 해석한 것은 연결주의자 관점에서 그저 제 생각일 뿐, 다른 권위자들이 이야기한 걸 들었거나 혹은 다른 사람들의 반론에 활발히 노출된 주장은 아니에요. 그런데 제가 보기에는 자명하거든요. 신경망으로 다룰지, 벡터로 다룰지의 차이가 있는 것일 뿐, 어텐션은 수평적 연결이죠. 계산량에 있어서, 트랜스포머와 볼츠만머신의 연결성을 비교해야 하는데, 노드를 동일한 수로 맞춰놓고 전체 연결수를 주목해서 볼 때, 트랜스포머가 연결이 훨씬 적죠. 왜냐하면 트랜스포머는 어텐션망과 포워드망으로 구성되어 있는데, 포워드망은 DNN 즉 심층신경망으로 수평연결이 없이 수직연결만 일방향으로 향하니까요. 이건 더 일반적인 관점에서 이야기할 필요가 있는데, 연결주의 머신러닝은 결국 네트워크를 만들고 이를 계산할 수 있으면 되는 일이며, 그러나 트랜스포머는 현재 인류가 많이 가지고 있는 하드웨어에 매우 최적화되어 있어서 뛰어나다라고 이해할 수 있을 것 같아요. 그러나 대뇌피질과 비교해보면, 그게 과연 궁극의 하드웨어이자 궁극의 알고리즘일지는 의문이죠. 대뇌피질에는 멀리까지 연결된 피라미드뉴런뿐만 아니라, 지역적으로 연결되어 있는 여러 중간뉴런들이 많으니까요. 대뇌피질의 연결성은 GPU의 연결성과 다르죠. 국소적 연결이 많아야, 인간 대뇌와 유사해지는 거라 봐요. 국소적 연결이라 함은 단순하게 말해서 A1 ⇄ A3 ... A7 ⇄ A9는 있어도 A1 ⇄ A9 은 없는 걸 의미하죠. 1. DNN은 수평연결이 없고, 대뇌피질은 수평연결이 많다. 2. 트랜스포머 어텐션망은 수평연결로 이뤄져 있지만, 모두가 모두와 연결된 구조이고, 그러나 대뇌피질은 국소적 연결 즉 짧은 연결이 많다. 3. 모두가 모두와 연결되는 구조는 하드웨어적으로 채널에 부하를 준다. 이는 대뇌에서도 마찬가지다. 대뇌 백질은 피라미드뉴런 축삭돌기의 부피를 가리킨다. 이는 대뇌의 장거리 통신채널이며 그 부피를 더 늘리기 곤란하다. 그러므로 연결량을 줄여야 하는데 DNN은 수평연결을 아예 없애버렸고, 트랜스포머는 한 층만 수평연결을 두고 내적으로 한 번 계산하는 것이며, 대뇌피질은 수평연결을 국소적인 것들을 많이 두고 피라미드뉴런이 고속도로처럼 먼거리를 연결하는 식으로 구조화되어 있다. 그리고 국소적인 것들은 거리가 짧으니 아마도 단시간에 여러번 계산할 것이다. 4. 대뇌 피질와 다른 구조인 일반적인 신경핵은 크기가 작다. 인간의 기저 신경핵이나 다른 동물들의 신경핵이 그 크기가 작은 이유 중 하나도 아마 연결 채널 부하 때문일 것이다. 연결이 길어지면 부피가 지나치게 늘어나서, 부피 대비 성능이 저하될 수 있기 때문이다. 또는 에너지 사용 대비 성능이 저하될 수 있기 때문이다. 때문에 스케일업을 하는데 한계가 있는 것이다. 포유류 대뇌피질의 연결구조*는 연결채널 부하의 문제를 해결한 혁신이었다고 할 수 있다. (* 세포들을 겉표면에 두되, 약간의 두께를 갖고 이에 세포들을 쌓아놓으며, 국소적 연결을 많이 두되, 장거리 연결은 커다란 피라미드뉴런으로 그 출력부인 축삭돌기로써 내부 공간을 채워서 해낸다. 그리고 겉표면은 주름이 지게 해서 표면적을 늘리고 이로써 세포를 더 많이 두고 계산을 더 많이 할 수 있게 한다. 피라미드뉴런의 축삭돌기는 속도를 더 빠르게 만들기 위해서 백색의 미엘린 수초로 감싸는데, 그로인해 부피에 더욱 부담이 생긴다. 그로인해 피라미드뉴런은 더 적어지고, 국소적 뉴런들은 더 많아지게 된다.)
25/05/07 20:32
Attenion is All you need 는 트랜스포머 논문 제목이죠. 그런데 이걸 바꿔서
Scale is All you need 마인드로 과감한 투자를 하고 지금의 LLM의 성공이 일어난 거라 볼 수 있을 거예요. 그런데 과연 그 스케일의 제약은 무엇일지 문제이고, 연결주의 관점에서 AI 알고리즘과 하드웨어 조건, 그리고 대뇌피질의 연결성을 댓글로 설명할 수 있는 선에서 간단히 이야기해봤어요. 스케일을 키우는데 제약이 걸린다는 것은 그와 관련하여 — 제프리 웨스트의 스케일*이란 책이 있거든요. (*부제 : 생물.도시.기업의 성장과 죽음에 관한 보편 법칙) 오래 전에 읽은 책이지만 제 기억에 뇌에 대해서는 다루지 않았던 걸로 알아요. 그러나 연결주의 관점에서 본질적인 부분을 공유하고, 오늘날 AI의 성공과 그 미래의 가능성을 놓고 볼 때, 의미있는 얘기라 봐요. 핵심은 스케일을 키울 때에 연결 부하나 체중 부하 등이 문제가 되어서, 더이상 스케일을 못 키운다는 것이지요. 예를 들어 도시의 크기를 키워야 하는데, 그러면 도로를 깔아야 하고 그 도로가 차지하는 넓이가 있는 거죠. 예를 들어 동물이라면 영양분을 공급하기 위해 혈관을 깔아야 하는데, 멀리까지 곳곳에 보내려면 혈관 부피가 문제되는 거죠. 컴퓨터도 프로세서와 메모리만 중요한게 아니라, 그것들을 연결할 구리선과 그 넓이가 중요한 것이겠고요.
|