빅데이터 22

보안망 SSL에러 피하기

내부망에서는 패키지 설치 시 SSL오류가 발생한다.관련하여 관리기관에서는 해결방법이 없다고 하고, 전용망을 설치해야 한다고 한다.글쎄...이 문제로 벌써 5년 가까이 답이 없는걸로 알고 있었다.현재 있는 곳에서도 그렇고 그전에 있었던 은행에서도 그랬다.그런데 해결이 됐다.첫째 방법은 많이 사용되는 방법이다. pip install  --trusted-host pypi.org --trusted-host files.pythonhosted.orgpytorch를 다운받을때는 pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 --trusted-host pypi.org --trusted-hos..

빅데이터 2025.02.17

통합대피소 위치시각화

통합대피소는 재난안전데이터 공유플랫폼에서 확인 가능. 박XX 사무관이 부탁하여 만듬https://www.safetydata.go.kr/ 재난안전데이터공유플랫폼재난안전데이터 공유 플랫폼에서는 원하는 데이터를 찾을 수 있도록 기능을 제공합니다. 찾고 싶은 데이터명을 입력하여 데이터명과 일치하는 재난안전데이터를 찾을 수 있습니다.www.safetydata.go.kr 통합대피소 공개데이터가 있다. 위치정보에 고도가 있으면 좋으련만 x, y만 있음이번엔 오래간만에 주피터랩으로... import requestsimport xml.etree.ElementTree as ETimport pandas as pd#api 사용import requestsimport urllib3# 내부망이 SSL 오류가 나므로urllib3.d..

빅데이터 2025.02.14

star-history.com

https://star-history.com/#hwchase17/langchain&CompVis/stable-diffusion&facebookresearch/llama&Date GitHub Star HistoryView and compare GitHub star history graph of open source projects.star-history.comstar-history 닷컴은 깃허브 내 프로젝트별 별 추이를 보는 곳이다. 각기 프로젝트를 입력하면 추이를 관찰할 수 있으며 어떤 프로젝트가 각광을 받고 있는지 확인할 수 있다. langchain이 stable diffusion을 추월한 상태란 사실을 확인할 ㅜㅅ 있다.

빅데이터 2024.10.18

기상위성 데이터를 살펴보자

NOAA(연방해양대기청) 여기는 쓸만한 자료가 많다. AIS 데이터부터 AIS의 포맷과 해석에 대한 방법 등등거기에 더해 CLASS: Comprehensive Large Array-Data라는데 뭐 대략 대빵큰위성데이터 정도로 해석하면 될까나???여기에 있는 데이터는 AVHRR(Advanced Very High Resolution Radiometer)라고 하는데 기상과 대기, 환경에 대한 위성 측정 데이터를 포함하고 있다. 위성마다 종류가 다양한데 사용되는 센서들과 측정항목도 차이가 있다.  https://order.class.noaa.gov/public/310670/8418718153/001/ NOAA's Comprehensive Large Array-data Stewardship System orde..

빅데이터 2024.07.26

Airflow

Airflow Datapipeline 툴이다. 과거에 사용하던 ETL과 유사하다. 대략 보아하니 얘는 MS SQL DTS와 유사하게 생겼다. DTS고 그 후손인 Integration Service고, Ozzie, Pentaho 모두 스타일은 비슷하다. SAS의 E-miner도 마찬가지이다. 서로 다른 소스의 데이터와 connection을 맺고, 변환이 이루어지고 스케쥴러들이 관리하는 형태이다. 요즘은 이러한 과정을 데이터 파이프라인이라고 부른다. R에서 명령어들 사이의 파이프라인 단축키를 치면 배치처럼 처리되었듯이 자동화가 요즘의 대세인듯 하다. 심지어 분석프로세스도 피드백과 반복을 위해 이러한 과정을 사용하고 있다. 도커를 먼저 실행한 후에 dag는 ETL의 Task, Flow와 유사하다. docker..

빅데이터 2024.02.21

도로 노드링크 생성

최적거리를 산출할때 필요한 노드 링크 형태의 네트워크 데이터 생성 도로 네트워크의 노드 링크는 ITS 전국표준노드링크에서 데이터를 제공하고 있다. https://www.its.go.kr/nodelink/nodelinkRef ITS 국가교통정보센터 ITS 국가교통정보센터 its.go.kr 그런데 여기서 제공되는 자료는 2차로 이상이라 실제 도로 중에 상당부분이 제외되어 있다. 전국의 모든 도로는 행안부 도로명주소인 실폭도로를 사용하는 것이 정확하다. https://business.juso.go.kr/addrlink/main.do?cPath=99JM 주소기반산업지원서비스 본인인증 사용중인 휴대전화번호로 인증 인증하기 아이핀 인증 본인 명의 아이핀 계정으로 인증 인증하기 business.juso.go.kr 제..

빅데이터 2024.02.14

최적 경로 산출

pgrouting에 의한 최적경로 산출 데이터의 출처는... https://www.its.go.kr/nodelink/intro ITS 국가교통정보센터 ITS 국가교통정보센터 its.go.kr 직스트라(Dijkstra) 방식의 최적거리 산출. 사전에 pgrouting이 설치되어 있어야 한다. pgrouting은 create extension pgrouting 명령으로 설치한다. 직스트라 알고리즘은 위키피디아에 따르면 다음과 같다. 영어의 압박!!! Let the node at which we are starting be called the initial node. Let the distance of node Y be the distance from the initial node to Y. Dijkstra'..

빅데이터 2024.02.05

SBERT

NLI(Natural Language Inference) 문장 쌍을 수반(Entailment), 모순(Contradiction), 중립(Neutral)의 관계로 분류하는 문제. 전제와 가설은 다음과 같은 구조를 가진다. Premise Label Hypothesis A man inspects the uniform of a figure in some East Asian country. contradiction The man is sleeping. An older and younger man smiling. neutral Two men are smiling and laughing at the cats playing on the floor. A soccer game with multiple males playi..

빅데이터 2023.12.12