24/04/11 튜터님과의 면담 1. 면접카타 : 면접 연습이다. 면접 본다 생각하고 임해주시면 좋겠다. 2. node.js : 잘 모르더라? -> 공부좀 하시오... (node.js가 뭔지 설명해보라) node.js의 장점 -> 그래서 이걸 쓴다. (스토리텔링) / 단점은 어떻게 하면 커버칠 수 있다. "왜" -> 중요하다.(express를 쓰는 이유, nest를 쓰는 이유 처럼.) 내 논리와, 이유가 중요하다. keyword : V8엔진(+libUV) = 브라우저 외에서 js를 사용할 수 있는 런타임 환경을 셋팅 libUV : 비동기 I/O처리 (이벤트 루프) -> 공식문서 보시길. / 근데 왜 내장 스레드가 4개? 빠른 I/O, nonblocking, 싱글 스레드 -> "키워드"와 연결지어 설명 3..

목차 1. 문제 2. 시도 3. 결과 4. 배운점 1. 문제 이전에 작성했던 코드가 artillery 시나리오 테스트를 전혀 통과하지 못하는 문제 발생. public async processImageAndManageDiet( processImageAndManageDietDto: ProcessImageAndManageDietDto, ): Promise { const imageText = await imageToText(this.openai, { prompt: processImageAndManageDietDto.imageUrl, }); const csvDataArray = await this.readLocalCsv(); const csvDataString = JSON.stringify(csvDataArray..

목차 1. 문제 2. 시도 3. 결과 4. 배운점 1. 문제 gpt 4 -> 덜창의적인 작업에서, 훨씬 느린 성능을 보여줌. 간단한 작업에 대해선 gpt3.5turbo를 쓰는게 훨씬 경제적으로 보임. 번역 : gpt3.5 = 1.48s/gpt4-turbo-preview = 3.73 imageToText / withCsv / translate 3스텝으로 하는건 별로인것 같음. 5.37(2스텝) vs 4.33+1.48(3스텝) 한번에 합쳐서 테스트 해볼 예정. import * as csv from 'csv-parser' -> 전체를 가져온다. import csv from 'csv-parser' -> default를 가져온다. 2. 시도 docker에 올려서 시도해본 결과. public async dietMa..

목차 1. 문제 2. 시도 3. 결과 4. 배운점 1. 문제 Image를 입력받아(일단은 wiki mdeia에 올라와있는 이미지들로 테스트) 어떤 음식들이 있는지 판별하는 API하나 위의 출력과(일단 지금은 복사해서 json body로 입력해주고 있음) csv파일을(영양정보xslx파일을 csv로 변환하고, 음식명, 칼로리, 탄수화물, 단백질만 정리된 data) 입력받아 식단 평가를 해주는 API 구축 2. 시도 const completion = await openai.chat.completions.create({ messages: [ { role: 'user', content: [ { type: 'text', text: ` 이미지 속의 음식들을 판별해서 알려줘. 여러 음식이 있는 이미지라도 동일한 작업을..

목차 1. 학습 내용 2. 내용 정리 3. 예제 4. 생각 정리 1. 학습 내용 파인튜닝을 위한 데이터 마련중 2. 내용 정리 josnl로 프롬프트 제작 + 학습용 데이터셋 구현중 (llama를 사용하는것을 고민중) 3. 예제 4. 생각 정리 윈도우 : dockerdesktop에서 그냥 올렸을 때, VM메모리 이슈가 있을 수 있다. (성능이 떨어지는 등) wsl위에 올려야 한다.(잘 안될 수 있다.) redis : 결국 데이터베이스. 설계를 해줘야 한다.(key-val로 대충 쓰기보단, storage류는 모두 적절한 폴더 관리가 필요하다.) ai : 이미지로 입력된걸 나누는 정도만 해도 충분하지 않나? + 나머지는 뭐 사용자가 입력하던 말던. / 여러 음식이 있는 사진에서 잘 나뉘어지는게 도전적인 부분이..

목차 1. 문제 2. 시도 3. 결과 4. 배운점 1. 문제 문제라기 보다는 진행사항. GPT로 프롬프트 작업하고, 원하는 형식에 맞게 응답 받는것 까지는 성공. 이제 본격적으로 학습시키기 시작 2. 시도 데이터 찾기 - AI 데이터찾기 - AI-Hub (aihub.or.kr) 데이터셋은 위의 링크. 일단은 xlsx파일에 담긴 400여종의 식품으로 영양소, 칼로리 등을 받는것 까지 1차 목표로 진행. 3. 결과 담당 튜터님과의 면담 - (일단 텍스트로 진행하고, 추후에 이미지 학습을 시킬 예정입니다. 그런데 용량이 커서 고민입니다.) 저희 파인튜닝에 기본 5테라씩 씁니다 이미지만 아마 데이터가 부족할거에요 여러 사이트에서 크롤링도 하고 챗 지피티로 이미지 재생성해서 유사 이미지 여러개로 더 만들어서 양 ..