PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2022/05/20 07:52:23
Name 문문문무
File #1 6cf3bc5f16ba23b787c47bbc87bea04c.png (56.9 KB), Download : 19
출처 1차는 구글 AI블로그, 2차는 펨코
Subject [기타] 구글의 최신 언어AI (수정됨)



1차출처(구글 AI블로그)
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1

2차출처(펨코)
https://www.fmkorea.com/index.php?mid=mystery&document_srl=4497456898&search_keyword=AI&search_target=title_content&page=1

구글이 작년에 내놓은 대규모 언어모델(LLM = GPT-3가 속한 범주) PaLM 
새로운 언어 모델링 테스트 모음인 BIG-bench(BIG-bench)에서 획기적인 성능([최초로 인간평균을 넘어섬])을 달성함을 발견
(테스트내용이 무엇인지 궁금하신분들은 
https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/README.md 참고)

제가 대충 위의 링크로 들어가서 테스트내용이 뭔지보니까
철학,학문,수학,속담풀이,다양한난이도의 코딩, 동영상설명등등 
정말로 다양한 분야의 기본적이지만 세부적인 질문들이 들어있던것 같습니다.



#####
아주 살짝 디테일한 내용
트랜스포머(언어해석알고리즘)블록재구성, 병렬화등의 방법을 통해 계산을 좀더 병렬화시키는데 성공
-> 대충 알고리즘과 컴퓨터칩들의 배열을 좀더 다듬어서 더 많은 매개변수를 때려박을수 있었다는 뜻

고품질 웹 문서, 책, 위키백과, 대화 및 GitHub 코드를 포함하는 영어 및 다국어 데이터 세트를 사용하여 훈련

모든 공백(특히 코드에 중요한)을 보존하고, 
어휘가 부족한 유니코드 문자를 바이트로 분할하고, 
숫자를 각 자리마다 하나씩 개별 토큰으로 분할하는 "무손실" 어휘를 만듦
->대충 어휘가 가진 맥락을 최대한 손실없이 담아내려 노력했고 또 성공했다는 말인듯

#####

아직까진 파라메터 때려박은것 대비 성능향상의 기울기가 전혀? 하락하지 않았으므로 성능개선의 여지가 충분하다고 판단하여
계속 이런쪽(하드웨어,소프트웨어 최적화를 통한 모델크기 증대)으로 연구할 예정 

#####

저는 빠르면 30년대후반~ 늦어도 40년대초중반 즈음으로 봤었는데 
우와.... 이거 생각보다 특이점이 빨리 올지도? 30년대초반도... 가능...?



통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
다시마두장
22/05/20 07:53
수정 아이콘
이제 다 왔기 때문에 이제와서 영어를 배우기는 아깝다던 침착맨 1승 크크
League of Legend
22/05/20 07:58
수정 아이콘
힘내라
22/05/20 08:04
수정 아이콘
이거 믿고 우리 애 영어 공부는 교과서만 시킵니다 알파고님 충성 충성 풍성^^7
검은바다채찍꼬리
22/05/20 09:32
수정 아이콘
알파고님도 풍성은 힘드셔요.......

아 메타버스 들어가면 가능할지도?
Janzisuka
22/05/20 10:59
수정 아이콘
18남..7녀..다둥이 아빠님...
살려야한다
22/05/20 08:18
수정 아이콘
지금인가요
문문문무
22/05/20 08:19
수정 아이콘
나스닥 저점이 어디까지 갈지는 모르겠지만 일단 지금사놔도 10년뒤에는 상당하지않을까요
22/05/20 08:23
수정 아이콘
하지만 이런 ai도 망치 한방이면
자연어처리
22/05/20 08:34
수정 아이콘
저는 친칠라가 좀 더 인상깊었습니다. 흐흐
문문문무
22/05/20 08:37
수정 아이콘
뭐 누가 됬든 저런 다소 무식해보이는? 방법으로도
인간수준의 범용지능에 도달할 가능성이 높아졌다는 사실은 개인적으로 기쁩니다.
음란파괴왕
22/05/20 08:37
수정 아이콘
이제 게임 하나 만들때마다 10년씩 안기다려도 되는거겠죠? 빨리 gta6 내놔라!
문문문무
22/05/20 08:46
수정 아이콘
(수정됨) 근데 진짜로 10년내로 가능할것같아요
완전히 획기적인 아이디어를 내는건 당연히 불가능하겠지만
사람들이 짠 기획안을 따라 GTA6에 준하는 수준의 게임을 코딩해서 내놓는 수준은
진짜 10년내로 도달할수 있을것같습니다.
저게 알파고쇼크이후 불과 6년만에 도달한 성과니까요,
오징어게임
22/05/20 09:05
수정 아이콘
승리호에서 쓰던거 같은 통역기도 10년뒤 가능한걸까요?
와쿠와쿠
순둥이
22/05/20 11:31
수정 아이콘
거의 다 왔다고 봅니다
올해는다르다
22/05/20 09:19
수정 아이콘
가가 가가 가가 가가?
아델라이데
22/05/20 10:08
수정 아이콘
70점정도 달성하면 실시간 통역기 등장하겠네요.
탑클라우드
22/05/20 11:42
수정 아이콘
전문 통역 조직을 보유하고 운영하는 입장에서 매우 흥미로운 영역입니다.
특히 오역으로 인한 저희 직원과 본사 담당자와의 오해 발생이 제게는 꽤 큰 스트레스인데,
번역/통역 관련 AI의 급격한 발전과 특이점 도래를 진심으로 기원합니다.

아... 나도 쫌 살자...
동굴범
22/05/20 12:54
수정 아이콘
통역기가 실용화 되면 통역기용 언어가 만들어질 수도 있겠네요. 일상언어와는 다른게 통역이 용이한 좀 더 단순하고 문법에 맞고 발음에 신경쓰는...
문문문무
22/05/20 13:27
수정 아이콘
한 100년쯤뒤에는 그언어가 세계 표준언어의 모태가 되어있지 않을까요
동굴범
22/05/20 15:33
수정 아이콘
에스페란토 같은 식의 세계 표준어보다는 각 언어마다 통역에 용이한 형태로 변화할 것 같다는 생각입니다.
내국인끼리는 지금처럼 일상어 그대로 쓰겠지만 외국인과 대화할 때는 통역어(?)로 대화하는 식이죠.
문문문무
22/05/20 20:04
수정 아이콘
뭐 저는 그런현상이 100년쯤 지속되고나면 3~4가지로 통일되는쪽으로 수렴하지않을까 라는 생각이긴합니다만
100년은 너무 이를려나
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
458196 [서브컬쳐] 반지의 제왕 : 힘의 반지 메인 티저영상 공개 [13] EpicSide4942 22/07/15 4942
457888 [유머] 삼성퇴직한 초고위 임원과 인터뷰2 [27] 키작은나무16284 22/07/11 16284
457557 [기타] 자식 키우기가 힘든 이유 [38] 물맛이좋아요9286 22/07/06 9286
457245 [게임] 미호요에 입사하려면 알아야 하는것 + 한국 게임사 면접 [16] 카트만두에서만두10698 22/06/30 10698
456929 [유머] 19)네이버 지식인.. 많이본 지식.. 전당 레전드에 오른 질문 [17] League of Legend10919 22/06/26 10919
456537 [기타] (아래글 관련) 돈까스집에서 밥을 적게 주는 이유 [7] jjohny=쿠마7480 22/06/20 7480
456060 [LOL] 성캐가중계 뭉쳐야한타 오늘 오후 7시 QnA 라이브 [7] 수퍼카3090 22/06/13 3090
455978 [스포츠] 손흥민 아버지피셜 말씀중에 죄송하지만 "흥민이 아직도 월드클래스 아니다.mp4 [28] insane7065 22/06/11 7065
455663 [기타] 내맘대로 몬티홀 트롤리 [36] 니가커서된게나다6678 22/06/07 6678
455208 [유머] 친구랑 놀고 있는데 친구 엄마가 밥 안 줌 [64] firebat11976 22/05/30 11976
455099 [유머] 인공지능의 정답률을 올리는 마법의 문장이 발견됨 [14] TWICE쯔위6365 22/05/28 6365
454912 [스포츠] [스톡킹] 도루랑 홈런이랑 뭐가 더 어렵나요? [6] v.Serum6005 22/05/25 6005
454545 [기타] 구글의 최신 언어AI [21] 문문문무8300 22/05/20 8300
454138 [기타] 테라/루나 창업자 권도형의 어록 [114] 건방진고양이15715 22/05/13 15715
453914 [텍스트] (펌글) 찝찝.....대학생때 다단계 끌려갔던썰 [9] 아수날8699 22/05/09 8699
453736 [서브컬쳐] [닥스2 스포] 스압) 올해 초 중국에서 유출되었던 닥스2 플롯 [8] EpicSide8661 22/05/06 8661
453382 [유머] 레딧에서 올라온 질문이 모두의 가슴을 찔렀다. [11] 달은다시차오른다11134 22/05/01 11134
453146 [유머] 한국 국적을 포기한 일본인 유튜버가 제일 많이 받는 질문 [46] 아몬9982 22/04/27 9982
453005 [유머] 상하이 락다운 근황 [40] 맥스훼인12767 22/04/24 12767
452264 [LOL] [452263글 관련] 닝이 1주년 선물로 준비했던 것 [6] Rain#14038 22/04/13 4038
451801 [게임] 마이크로소프트의 액티비전 인수과정 근황 [20] EpicSide7974 22/04/06 7974
451360 [텍스트] 체르노빌 상식 논란.txt [31] 김유라8617 22/03/31 8617
451028 [기타] 외국인들이 한국 귀화하면 가장 많이 받는다는 질문 [42] 아롱이다롱이8097 22/03/27 8097
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로