iTopia.txt@EricStory iTopia.txt@EricStory

OpenAI가 Oracle과 $300B 규모의 클라우드 컴퓨팅 계약을 체결했습니다.이 계약은 OpenAI-Oracle-Softbank가 주축이 되어 출범한 Stargate 프로젝트의 일환이기도 한데요, 전력으로 환산해보면 대략 4.5GW 수준으로, 데이터센터 1-2개 수준이 아니라, 20개 이상이 되는 엄청난 대규모 계약입니다.4.5GW면 미국기준으로 약400만 가구가 사용할 전력과 비슷한 수준입니다.Oracle은 이 계약으로 주가가 크게 올랐고, 창업자인 Larry Ellison은 잠시 세계 최고 부자에 오르기도 했습니다. OpenAI가 AI Infra 확보에 진심인 것을 확인할 수 있는 계약이기는 한데, 이 계약이 현실적인가에 대해서는 의문이 좀 있고, 몇가지 우려할 만한 포인트 들이 있습니다. 1...

오픈AI가 할루시네이션과 관련한 새 논문 "Why language models hallucinate"을 공개했습니다.기존의 정확도 중심으로 테스트하는 AI 벤치마크가 모델이 모른다라고 답하는 경우에 대해 인센티브를 주지 않았기 때문에, Hallucination의 확률이 크게 올라갔다는 점을 이야기 하고 있습니다.AI가 모른다라고 답변하는 경우에 대해서도 일정 수준의 인센티브를 주는 것으로 학습을 시켜보니 Hallucination이 크게 줄어들더라 하는 내용입니다.쉽게 예를 들면, 맞추면 1점, 틀리면 0점의 기존 벤치마크 방식이 할루시네이션의 원인 중에 하나라는 것이고, 모른다에 0.5점을 주는 것으로 학습을 시켜두면 할루시네이션이 많이 줄어든다는 것이죠.물론 그렇다고 하더라도 할루시네이션이 100% 없..

이번 주는 빅네임들의 신제품 발표 경쟁 주간인가 봅니다.어제 Google Deepmind의 Genie 3 발표를 소개해드렸는데, 연이어서 OpenAI는 자사 최초의 오픈웨이트 모델인 gpt-oss를 발표했고, Anthropic도 자사의 플래그십 모델인 Opus의 4.1 버전을 발표했습니다. 먼저 gpt-oss는 120B 모델과 20B 모델의 두 가지로 공개했는데, 120B 모델은 80GB GPU에서, 20B모델은 16GB GPU에서도 실행가능합니다. 20B 모델은 Edge 디바이스에서도 실행가능합니다.또한 Apache 2.0 라이선스라서 굉장히 자유도 높게 활용가능합니다.성능은 o3 mini 수준이상이라고 합니다.다운로드 받아서 Ollama등에 붙여서 사용가능하며, 허깅페이스에 공개되어 있습니다.(htt..

최근에 Meta와 nVidia에서 굉장히 중요한 발표를 했는데, 언론에서는 그다지 비중있게 다뤄지지 않는 것 같아서, 발표 내용을 바탕으로, AI 업계의 변화 방향에 대해 이야기 해보려고 합니다. 먼저 메타부터 보겠습니다.https://ai.meta.com/blog/meta-llama-3-1/ Introducing Llama 3.1: Our most capable models to dateFor this release, we evaluated performance on over 150 benchmark datasets that span a wide range of languages. In addition, we performed extensive human evaluations that compare L..

나에게는 오래전부터 간직해 온 의문이 하나 있었다. 로또 당첨 번호 데이터를 오랫동안의 기간으로 분석을 하면 무엇인가 상관 또는 인과 혹은 다른 무언가라도 관계를 밝힐 수 있는 무언가가 있지 않을까 하는 것이었다. 물론 대학교과정까지 정상적으로 이수했다면, 로또 당첨 번호는 완벽하게 랜덤이라는 점은 따로 증명하지 않아도 사실로 이해할 수 있다. 그러므로 나 역시 그 점을 머리로 알고 있다. 매 회차가 완벽한 랜덤이고, 독립시행이므로, 앞회차가 다음 회차의 추첨에 영향을 주지도 않는다. 하지만 누구나 그런게 하나 쯤은 있지 않던가? 머리로는 알지만, 그것을 직접 데이터로 확인하고자 하는 마음, 그리고 데이터를 분석하다보면 혹시 누군가가 발견하지 못한 무엇인가를 발견할 수 있지 않을까 하는 마음. 나에게는 ..