분류 전체보기 69

민원데이터 RAG

공공데이터에서 민원데이터 유입 import requestsimport xml.etree.ElementTree as ETimport pandas as pdfrom langchain import PromptTemplate, LLMChainfrom langchain.llms import OpenAI # GPT-4o-mini를 사용하려면 해당 모델에 맞게 설정from dotenv import load_dotenvload_dotenv() xml.etree가 xml을 파싱하고 트리탐색 및 수정을 진행 url = "http://apis.data.go.kr/1140100/minAnalsInfoView5/minRisingKeyword5"params = { "serviceKey": "J8NXhkcbkqJ6iunxB..

카테고리 없음 2025.02.17

통합대피소 위치시각화

통합대피소는 재난안전데이터 공유플랫폼에서 확인 가능. 박XX 사무관이 부탁하여 만듬https://www.safetydata.go.kr/ 재난안전데이터공유플랫폼재난안전데이터 공유 플랫폼에서는 원하는 데이터를 찾을 수 있도록 기능을 제공합니다. 찾고 싶은 데이터명을 입력하여 데이터명과 일치하는 재난안전데이터를 찾을 수 있습니다.www.safetydata.go.kr 통합대피소 공개데이터가 있다. 위치정보에 고도가 있으면 좋으련만 x, y만 있음이번엔 오래간만에 주피터랩으로... import requestsimport xml.etree.ElementTree as ETimport pandas as pd#api 사용import requestsimport urllib3# 내부망이 SSL 오류가 나므로urllib3.d..

빅데이터 2025.02.14

poetry

pipenv와 다르다pyproject.toml에서 dependency를 다룬다.빌드에 필요한 패키지, 백엔드툴을 지정한다.requirement.txt를 사용하지 않게 해줄 수 있다. 예를 들자면 아래처럼...[tool.poetry]name="poetry-version=[tool.poetry.dependencies]python="3.[build-system]requires=["poetrybuild_backend="poetry  poetrypipenv설정파일pyproject.toml(PEP 518, PEP 621 표준)pipfile, pipfile.lock패키징패키징, 빌드, pypi배포까지 지원의존성 관리 중심커뮤니티현재 선호되는 도구poetry로 전환 중 설치하는 방법curl -sSL https://in..

카테고리 없음 2025.02.13

A Simple Framework for Contrastive Learning of Visual Representations

SimCLR에 대한 arXiv 저널 정리 2020.6월에 구글 리서치에서 발표한 자료https://arxiv.org/abs/2002.05709 A Simple Framework for Contrastive Learning of Visual RepresentationsThis paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order t..

카테고리 없음 2025.02.10

Proxycurl

Linkedin의 데이터를 끌어올수 있다. 이 api를 이용해서 끌어온 데이터로 langchain에게 작업을 시켜볼 수 있다.import requestsapi_key = 'YOUR_API_KEY'headers = {'Authorization': 'Bearer ' + api_key}api_endpoint = 'https://nubela.co/proxycurl/api/v2/linkedin'params = { 'twitter_profile_url': 'https://x.com/johnrmarty/', 'facebook_profile_url': 'https://facebook.com/johnrmarty/', 'linkedin_profile_url': 'https://linkedin.com/in/..

카테고리 없음 2024.12.31

Ollama

https://ollama.com/ OllamaGet up and running with large language models.ollama.comOllama는 메타의 언어모델로서 llama 3.3이나 mistral과 같은 모델을 배포하고 있다.일단 설치 후에 터미널에서 ollama run llama3를 실행하면 cli환경에서 대화를 할 수 있다. 모델을 from langchain_openai import ChatOpenAI에서 from langchain_ollama import ChatOllama로 바꿔주면된다.llm=ChatOllama(model="llama3")로 설정해주면 된다. 답변은 openai에 비하여 느리나 내용상으로는 별 차이가 없다.결과는 content=' 형태로 표시된다. 이 객체를 ..

카테고리 없음 2024.12.30