전체 글 (68) 썸네일형 리스트형 Superset Export CSV Superset에서 대쉬보드에서 Export CSV 할 때 encoding 오류 발생 ubuntu에서는 문제없으나 windows PC에서 저장시 문제 발생 일반 사용자들이 windows인것을 감안하여 수정이 필요 해결 방법 : superset/views/core.py response = CsvResponse( csv, headers=generate_download_headers("csv", quoted_csv_name) ) => 위부분에서 중요부분은 csv 부분이다. superset / config.py CSV_EXPORT = { 'encoding': 'utf_8_sig', "sep": "," } 여기서 sig는 signature를 뜻하며 BOM을 파일 정보로 취급 Byte order mark 참고 : .. Baekjoon_1010_bridge python 풀이 import sys input = sys.stdin.readline T = int(input()) result = [[0] * 31 for _ in range(31)] for j in range(1,31) : for k in range(j,31) : if j == k : result[j][k] = 1 elif j == 1 : result[j][k] = k else: answer = 0 for l in range(j-1,k): answer += result[j-1][l] result[j][k] = answer for i in range(T) : bridge = list(map(int,input().split())) west = bridge[0] east = bridge[1] print(result[west.. superset athena 연결시 주의사항 superset 재시작시 0. docker-compose down -> docker-compose up 1. superset_app bash 접속(docker) 2. pip / Athena 필요 라이브러리 install 3. bigdata DB 터널링(바스티온) 기본적으로 슈퍼셋은 볼륨에 연결되어 저장되기 때문에 오류발생시 docker-compose down 후에 다시 up해도 데이터는 유지한다.(필요 라이브러리는 재설치 필요) # Athena 연결시 ## 중요 무조건 설치해야함 또한 반드시 재시작해야 가능하다. 둘 중 아무거나 사용해도 되지만 나는 아래것을 사용했다. $ pip install "PyAthenaJDBC>1.0.9 $ pip install "PyAthena>1.2.0" 연결 코드 awsat.. 1240 distance BFS import sys from collections import defaultdict,deque input = sys.stdin.readline def BFS(graph, x, y):# 출발 노드 : x, 도착노드 : y visited = [False] * (N+1) # 맨앞에 0번쨰 자리는 제외하므로 n+1을 해줘야 원래수대로 쓸수있다. que = deque() que.append(x) visited[x] = True # 방문했다는 표시 target_dist = [0]*(N+1) # index : nord, value : index 노드까지의 거리 while que : # 출발노드부터 시작해서 방문 노드 que에넣기 v = que.popleft() # 현재 노드 빼서 v에넣기 if v == y: # 목표.. python return값 힌트 함수를 선언할 때 항상 def abc(a): return a.reverse() 위와 같이 나만 알수 있게 선언을 하였다. 근데 메소드에 들어갈 변수 형식을 지정하고 return 값은 힌트를 줄 수 있다. def abc(a : list) -> list return a.reverse() 별것 아닌 차이같지만 내가 만든다고 누군가 이코드를 안쓸보장은 없다 또한 깃헙에 공유하는 개인프로젝트의 경우 더더욱 그러하다. 회사에서도 계속 바뀌는 상황에서.. 또한 이런 저러한 프로젝트를 왔다갔다하는 입장에서 대충 귀찮아서 위처럼 하기보다는 항상 지정해야 할 듯 싶다. 저거 입력함으로서 쓸데없는 고민을 하는 시간을 줄일 수 있다. jupyterhub 운영 문제해결 사용자 제거시 유의 사항 관리자 계정에서 삭제후에 터미널커널에서 cat /etc/passwd 에서 id 확인 후 (jupyter-[id] 형태) $ userdel jupyter-sawyer $ userdel jupyter-[user-id] jupyter hub에 R 세팅 하기 $ sudo apt update $ sudo apt upgrade $ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9 $ sudo add-apt-repository 'deb [https://cloud.r-project.org/bin/linux/ubuntu](https://cloud.r-project.. 프로그래머스 - 문자열 압축 ``` def solution(s): result = [] # 길이가 1일때 if len(s) == 1 : return 1 # 반복이 가장클때도 절반은 넘지 못하므로 for i in range(1, (len(s)//2) + 1): b = '' cnt = 1 # 반복 횟수 tmp = s[:i] # 자른 길이 # i 부터 i간격으로 s길이 만큼 반복 for j in range(i, len(s), i): # 반복 되었을 떄 cnt += 1 if tmp == s[j:i+j]: cnt+=1 else : # 반복 되지않을때 if cnt != 1 : # 반복될때 만약에 2가아닌 3이어도 다시 재입력 b = b + str(cnt) + tmp else : # 반복 안될때. b = b + tmp tmp = .. .withColumn(datetime) glue ETL 잡의 오류인지 뭔지 hh:mm:ss 데이터 값이 실제 S3(DL) 에 넣을 때 이유는 모르겠지만 1970-01-01 이 앞에 같이 들어가서 string 값으로 저장되는 문제가 있어서 값을 수정하는데 별것 아닌것에 pyspark 에 대한 지식이 부족해 삽질을 하다가 겨우 해결했다. 일단 import 해주고 import pyspark.sql.functions as F ing_df = df.toDF()여기서 df는 from pyspark.context import SparkContext from awsglue.context import GlueContext sc = SparkContext() glueContext = GlueContext(sc) glueContext.create_dynamic_.. 이전 1 2 3 4 ··· 9 다음
