PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2022/05/20 07:52:23
Name 문문문무
File #1 6cf3bc5f16ba23b787c47bbc87bea04c.png (56.9 KB), Download : 19
출처 1차는 구글 AI블로그, 2차는 펨코
Subject [기타] 구글의 최신 언어AI (수정됨)



1차출처(구글 AI블로그)
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1

2차출처(펨코)
https://www.fmkorea.com/index.php?mid=mystery&document_srl=4497456898&search_keyword=AI&search_target=title_content&page=1

구글이 작년에 내놓은 대규모 언어모델(LLM = GPT-3가 속한 범주) PaLM 
새로운 언어 모델링 테스트 모음인 BIG-bench(BIG-bench)에서 획기적인 성능([최초로 인간평균을 넘어섬])을 달성함을 발견
(테스트내용이 무엇인지 궁금하신분들은 
https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/README.md 참고)

제가 대충 위의 링크로 들어가서 테스트내용이 뭔지보니까
철학,학문,수학,속담풀이,다양한난이도의 코딩, 동영상설명등등 
정말로 다양한 분야의 기본적이지만 세부적인 질문들이 들어있던것 같습니다.



#####
아주 살짝 디테일한 내용
트랜스포머(언어해석알고리즘)블록재구성, 병렬화등의 방법을 통해 계산을 좀더 병렬화시키는데 성공
-> 대충 알고리즘과 컴퓨터칩들의 배열을 좀더 다듬어서 더 많은 매개변수를 때려박을수 있었다는 뜻

고품질 웹 문서, 책, 위키백과, 대화 및 GitHub 코드를 포함하는 영어 및 다국어 데이터 세트를 사용하여 훈련

모든 공백(특히 코드에 중요한)을 보존하고, 
어휘가 부족한 유니코드 문자를 바이트로 분할하고, 
숫자를 각 자리마다 하나씩 개별 토큰으로 분할하는 "무손실" 어휘를 만듦
->대충 어휘가 가진 맥락을 최대한 손실없이 담아내려 노력했고 또 성공했다는 말인듯

#####

아직까진 파라메터 때려박은것 대비 성능향상의 기울기가 전혀? 하락하지 않았으므로 성능개선의 여지가 충분하다고 판단하여
계속 이런쪽(하드웨어,소프트웨어 최적화를 통한 모델크기 증대)으로 연구할 예정 

#####

저는 빠르면 30년대후반~ 늦어도 40년대초중반 즈음으로 봤었는데 
우와.... 이거 생각보다 특이점이 빨리 올지도? 30년대초반도... 가능...?



통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
다시마두장
22/05/20 07:53
수정 아이콘
이제 다 왔기 때문에 이제와서 영어를 배우기는 아깝다던 침착맨 1승 크크
League of Legend
22/05/20 07:58
수정 아이콘
힘내라
22/05/20 08:04
수정 아이콘
이거 믿고 우리 애 영어 공부는 교과서만 시킵니다 알파고님 충성 충성 풍성^^7
검은바다채찍꼬리
22/05/20 09:32
수정 아이콘
알파고님도 풍성은 힘드셔요.......

아 메타버스 들어가면 가능할지도?
Janzisuka
22/05/20 10:59
수정 아이콘
18남..7녀..다둥이 아빠님...
살려야한다
22/05/20 08:18
수정 아이콘
지금인가요
문문문무
22/05/20 08:19
수정 아이콘
나스닥 저점이 어디까지 갈지는 모르겠지만 일단 지금사놔도 10년뒤에는 상당하지않을까요
22/05/20 08:23
수정 아이콘
하지만 이런 ai도 망치 한방이면
자연어처리
22/05/20 08:34
수정 아이콘
저는 친칠라가 좀 더 인상깊었습니다. 흐흐
문문문무
22/05/20 08:37
수정 아이콘
뭐 누가 됬든 저런 다소 무식해보이는? 방법으로도
인간수준의 범용지능에 도달할 가능성이 높아졌다는 사실은 개인적으로 기쁩니다.
음란파괴왕
22/05/20 08:37
수정 아이콘
이제 게임 하나 만들때마다 10년씩 안기다려도 되는거겠죠? 빨리 gta6 내놔라!
문문문무
22/05/20 08:46
수정 아이콘
(수정됨) 근데 진짜로 10년내로 가능할것같아요
완전히 획기적인 아이디어를 내는건 당연히 불가능하겠지만
사람들이 짠 기획안을 따라 GTA6에 준하는 수준의 게임을 코딩해서 내놓는 수준은
진짜 10년내로 도달할수 있을것같습니다.
저게 알파고쇼크이후 불과 6년만에 도달한 성과니까요,
오징어게임
22/05/20 09:05
수정 아이콘
승리호에서 쓰던거 같은 통역기도 10년뒤 가능한걸까요?
와쿠와쿠
순둥이
22/05/20 11:31
수정 아이콘
거의 다 왔다고 봅니다
올해는다르다
22/05/20 09:19
수정 아이콘
가가 가가 가가 가가?
아델라이데
22/05/20 10:08
수정 아이콘
70점정도 달성하면 실시간 통역기 등장하겠네요.
탑클라우드
22/05/20 11:42
수정 아이콘
전문 통역 조직을 보유하고 운영하는 입장에서 매우 흥미로운 영역입니다.
특히 오역으로 인한 저희 직원과 본사 담당자와의 오해 발생이 제게는 꽤 큰 스트레스인데,
번역/통역 관련 AI의 급격한 발전과 특이점 도래를 진심으로 기원합니다.

아... 나도 쫌 살자...
동굴범
22/05/20 12:54
수정 아이콘
통역기가 실용화 되면 통역기용 언어가 만들어질 수도 있겠네요. 일상언어와는 다른게 통역이 용이한 좀 더 단순하고 문법에 맞고 발음에 신경쓰는...
문문문무
22/05/20 13:27
수정 아이콘
한 100년쯤뒤에는 그언어가 세계 표준언어의 모태가 되어있지 않을까요
동굴범
22/05/20 15:33
수정 아이콘
에스페란토 같은 식의 세계 표준어보다는 각 언어마다 통역에 용이한 형태로 변화할 것 같다는 생각입니다.
내국인끼리는 지금처럼 일상어 그대로 쓰겠지만 외국인과 대화할 때는 통역어(?)로 대화하는 식이죠.
문문문무
22/05/20 20:04
수정 아이콘
뭐 저는 그런현상이 100년쯤 지속되고나면 3~4가지로 통일되는쪽으로 수렴하지않을까 라는 생각이긴합니다만
100년은 너무 이를려나
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
463278 [기타] 질게) 타지역 부산초행 운전 필수품 [47] 니시무라 호노카13578 22/09/25 13578
462017 [기타] 유튜버로 인해서 배달기사가 사망했습니다. [188] 딸기19376 22/09/08 19376
460068 [기타] [스압]옆동네 화제의 현직 치킨 자영업자의 글 [111] 톰슨가젤연탄구이15797 22/08/12 15797
459039 [기타] 만수르 사촌 초대로 사우디에 간 근근웹 유저 [11] 퍼블레인12563 22/07/29 12563
458771 [기타] 인터넷 질문 답변 특 [15] 닉넴길이제한8자7315 22/07/25 7315
457557 [기타] 자식 키우기가 힘든 이유 [38] 물맛이좋아요9284 22/07/06 9284
456537 [기타] (아래글 관련) 돈까스집에서 밥을 적게 주는 이유 [7] jjohny=쿠마7475 22/06/20 7475
455663 [기타] 내맘대로 몬티홀 트롤리 [36] 니가커서된게나다6674 22/06/07 6674
454545 [기타] 구글의 최신 언어AI [21] 문문문무8296 22/05/20 8296
454138 [기타] 테라/루나 창업자 권도형의 어록 [114] 건방진고양이15712 22/05/13 15712
451028 [기타] 외국인들이 한국 귀화하면 가장 많이 받는다는 질문 [42] 아롱이다롱이8091 22/03/27 8091
450261 [기타] 안성 사람들이 싫어하는 질문 1위 [15] 쎌라비8758 22/03/15 8758
450156 [기타] 우주선 대기권 진입시 발생하는 열의 정체 [17] TWICE쯔위6972 22/03/14 6972
449449 [기타] 어디서 많이 보던 .Mean while Russia [6] Lord Be Goja7272 22/03/02 7272
447787 [기타] [유한락스] 텀블러 물냄새제거에 락스가 도움이될까요? [20] VictoryFood8181 22/02/07 8181
446267 [기타] 이게 재평가가 된다고??? [23] 원펀치9822 22/01/21 9822
445726 [기타] [영국] 당신은 페미니스트입니까에 대한 설문결과 [17] 아케이드7459 22/01/16 7459
445095 [기타] 드라마와는 달랐던 고려 말의 권신 이인임의 말년 [13] EpicSide6952 22/01/10 6952
444891 [기타] 절대신 [10] 퀀텀리프7649 22/01/08 7649
444873 [기타] 정소림 캐스터님 유튜브 10만 구독 이벤트 [9] lemonair8325 22/01/07 8325
444487 [기타] 글로벌 첫 자위 평균연령 / 자위 경험률 [14] 아롱이다롱이8670 22/01/03 8670
444139 [기타] 인공지능이 아이에게 제안한 짜릿한 챌린지 [9] Lord Be Goja7608 21/12/29 7608
443530 [기타] 저 밑에 <일본인이 본 한국의 특이한 문화> 글의 일본인 한국어실력 [7] 아롱이다롱이11373 21/12/22 11373
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로