생성형AI 9

Langchain 스터디

📚 LangChain 프로젝트 설정 강의 요약 (이든쌤)✅ 1. 강의 목적LangChain을 활용한 AI 애플리케이션 개발을 위해 프로젝트 환경을 통일하고,보일러플레이트 코드, 실행 환경, 디버깅 설정 등을 정리하는 과정🧰 2. 주요 설정 단계① Git 저장소 복제브랜치: 1-start-here명령어 예시:bash복사편집git clone -b 1-start-here [저장소 URL] ② IDE 설정 (주로 PyCharm)Python Interpreter → Pipenv 환경 선택Pipenv로 가상 환경 생성 및 패키지 관리실행 환경 설정 (Edit Configurations → Runner 추가)③ LangChain 패키지 설치bash복사편집pip install langchain langchain-o..

생성형AI 2025.04.11

Langchain의 모델

템플릿을 활용하는 형태는 다음의 예로 확인해볼 수 있다.from langchain_core.prompts import PromptTemplateinformation="""Carter is..... """summary_template="""내용을 요약해줘"""summary_prompt_template=PromptTemplate(input_variables=["information"], template=summary_template)#PromptTemplate는 명령과 템플릿을 담는다.llm=ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo")chain= summary_prompt_template|llmchain.invoke(input={"information":i..

생성형AI 2024.12.30

SciBERT

과학관련 자료에 특화된 BERT  SciBERT : 과학문헌에 특화된 언어모델출처가 앨런AI다 AbstractBERT를 활용하여 만든 SCIBERT로 시퀀스 태깅(사람, 장소 등 레이블링), 문장 분류, 의존구문 분석을 수행했다. 코드는 https://github. com/allenai/scibert/에서 확보 가능하다. VocabularyBert가 WordPiece를 사용했기에 같은 방식으로 활용했다.SentencePiece 라이브러리를 활용해서 WordPiece 사전을 과학문헌과 관련하여 SciVOCAB 형태로 만들어 냈다. 케이스와 언케이스로 30K개를 만들어서 BaseVOCAB와 비교가능한 사이즈로 만들었다. 두 사전에서 공통된 토큰은 42%였다.  CorpusSciBERT를 1.14M개의 논문을..

생성형AI 2024.10.08

Stable Diffusion-인터페이스, Github extension, ControlNet

인터페이스 완성 후에 결과물 관련 캡션을 확인해보면 Seed가 있다. 위의 테이블 밑에서 3번째 줄 Seed: 19030... 인데 이 씨드 값을 사용하면 기존 작업물을 재활용할 수 있다. 프롬프트 중에는 결과에 반영되지 않는 경우가 있다. 예를 들어 wireless같은 단어는 반영되지 않는다. 이것은 wireless가 학습되지 않았기 때문이다. checkpoint는 사전학습 pre-training 으로서 이런 것들이 학습되지 않았을 수 있다. 이런 경우는 사전학습에 부가적으로 추가학습이 필요하다. LoRA가 그러한 역할을 한다. 용어 Checkpoint - 프롬프트로 이미지 생성이 가능하도록 사전학습된 모델 LoRA, RyCORIS - checkpoint가 생성하는 이미지에 특정 컨셉을 반영할 수 있도..

생성형AI 2023.10.30

Image segmentation

Image segmentation은 디지털 이미지를 개체별로 분리하는 방법이다. Image segmentation은 sementic segmentation, instance segmentation, panoptic segmentation으로 나눌 수 있다. sementic segmentation은 동일한 클래스를 구분한다. instance segmentation은 클래스별로 인스턴스를 구분한다. panoptic segmentation은 클래스와 인스턴스를 함께 구분한다. 이미지 분할은 임계값이 기준이된다. 예를 들어 Balanced Histogram Thresholding Method은 전경과 배경을 나누는 기준이 되는데 히스토그램을 기준으로ㅗ 가중치를 부여하여 균형점을 찾는다. instance segm..

생성형AI 2023.10.07

BERT

BERT (Bidirectional Encoder Representations from Transformer) - 트랜스포에 의한 양방향 회상 부호기 정도로 해석해야 할 듯. 이름 참 멋있어보이기도 하고 골아퍼 보이기도 하다. 관련모델로는 ALBERT(A Lite BERT for Self-supervised Learning of Language Representation), RoBERTa(A Robustly Optimized BERT Pretraining Approach), ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 등이 있다. 이 밖에도 KorBERT, KcBERT 등도 있다. '19년도에 ..

생성형AI 2023.06.27