iTopia.txt@EricStory iTopia.txt@EricStory

오픈AI가 할루시네이션과 관련한 새 논문 "Why language models hallucinate"을 공개했습니다.기존의 정확도 중심으로 테스트하는 AI 벤치마크가 모델이 모른다라고 답하는 경우에 대해 인센티브를 주지 않았기 때문에, Hallucination의 확률이 크게 올라갔다는 점을 이야기 하고 있습니다.AI가 모른다라고 답변하는 경우에 대해서도 일정 수준의 인센티브를 주는 것으로 학습을 시켜보니 Hallucination이 크게 줄어들더라 하는 내용입니다.쉽게 예를 들면, 맞추면 1점, 틀리면 0점의 기존 벤치마크 방식이 할루시네이션의 원인 중에 하나라는 것이고, 모른다에 0.5점을 주는 것으로 학습을 시켜두면 할루시네이션이 많이 줄어든다는 것이죠.물론 그렇다고 하더라도 할루시네이션이 100% 없..

최근에 Meta와 nVidia에서 굉장히 중요한 발표를 했는데, 언론에서는 그다지 비중있게 다뤄지지 않는 것 같아서, 발표 내용을 바탕으로, AI 업계의 변화 방향에 대해 이야기 해보려고 합니다. 먼저 메타부터 보겠습니다.https://ai.meta.com/blog/meta-llama-3-1/ Introducing Llama 3.1: Our most capable models to dateFor this release, we evaluated performance on over 150 benchmark datasets that span a wide range of languages. In addition, we performed extensive human evaluations that compare L..

업무하다 보면, 인터넷 검색으로 찾은 표 이미지를 가공해서 PPT로 만들거나, 아니면 excel로 만들어서 2차가공이 필요할 때가 있죠.이럴 때 이미지에서 text를 추출하기 위하여 OCR 소프트웨어를 쓰기도 하는데요, 이런 작업도 ChatGPT가 곧잘 해줍니다.아래 예시를 보여드릴께요.  이 표를 ChatGPT에게 넣어주고, 일을 시킵니다."이 이미지 파일을 수정가능하도록 Excel 데이터로 추출해줘"물론, 이 프롬프트만으로 안되는 경우도 있습니다. 그럴 때는 포기하지 말고 다시 시도합니다."이거 진짜 중요한 일이니까, 다시 해줘. 팁2만불 줄께"뭐 이런식으로 말이죠. 그러면 어떻게든 해줍니다.표 이미지의 형태에 따라 결과물이 조금씩 다르긴 한데요, 잘될때는 Excel 데이터로 만들어주기도 하고요, 안..

지난 편에서는, Colab 환경에서 네이버 최저가 검색 크롤링 기능을 구현하기 위해 ChatGPT에 일을 시켜보았습니다만, Selenium Library의 한계로 Colab에서는 더 이상 진행할 수가 없었습니다. 그래서 Local에서 다시 시도해보기로 합니다. MS Code와 Python 개발 환경을 설치했습니다. 제가 개발하던 시절과는 다르게 MS Code설치하면 그 안에서 Plugin 처럼 Python같은 것도 설치할 수 있네요. 참 좋은 세상입니다. 그럼 본격적으로 시작해봅니다. 코드는 지난 시간에 chatGPT가 다 만들어주었으니, 잠시 리뷰해보겠습니다. from selenium import webdriver from selenium.webdriver.common.by import By from ..

저는 코딩 손 놓은지 이제 15년이 넘은 직장인입니다. 현재는 개발과 무관한 일을 하고 있구요. 마음 한구석에 코딩에 대한 작은 소망들이 있기는 했습니다만, 다시 시작한다는게 쉽지 않기도 하고, 요즘 언어들을 새로 배운다는 것도 낯설기도 하고 그랬습니다. 그런데 ChatGPT의 시대가 왔네요. 그래서 개발을 한번 시도해보기로 했습니다. 주제 : ChatGPT로 웹크롤링을 통한 네이버 최저가 검색 기능 개발 목적 : 1) GPT를 이용한 개발에 익숙해지기 2) 노코딩 개발 툴에 익숙해지기 일단 PC에 개발환경 셋업하는 것도 귀찮으니까, Google Colab을 활용하기로 합니다. ChatGPT와의 대화 전체를 남기려니, 글만 길어지는 것 같아서, 제 프롬프트만 Full로 남기고 ChatGPT의 답변이나 결..

나에게는 오래전부터 간직해 온 의문이 하나 있었다. 로또 당첨 번호 데이터를 오랫동안의 기간으로 분석을 하면 무엇인가 상관 또는 인과 혹은 다른 무언가라도 관계를 밝힐 수 있는 무언가가 있지 않을까 하는 것이었다. 물론 대학교과정까지 정상적으로 이수했다면, 로또 당첨 번호는 완벽하게 랜덤이라는 점은 따로 증명하지 않아도 사실로 이해할 수 있다. 그러므로 나 역시 그 점을 머리로 알고 있다. 매 회차가 완벽한 랜덤이고, 독립시행이므로, 앞회차가 다음 회차의 추첨에 영향을 주지도 않는다. 하지만 누구나 그런게 하나 쯤은 있지 않던가? 머리로는 알지만, 그것을 직접 데이터로 확인하고자 하는 마음, 그리고 데이터를 분석하다보면 혹시 누군가가 발견하지 못한 무엇인가를 발견할 수 있지 않을까 하는 마음. 나에게는 ..