분류 전체보기 (68) 썸네일형 리스트형 Crontab docker 시간은 -9시간이다. 즉 (UTC : 협정세계시) 날마다 작업하는 루틴화하는 작업을 쿼리 날짜기준으로 추출 메신저로 전송인 작업이있어서 py파일로 만들었더니 9시반에 걸어놨는데 3시반에 보내졌다. docker 내의 시간은 로컬과 시간이 다른것을 항상 염두해둬야한다. print 없이 type(things) 파일 중간에 print 해놨더니 crontab은 작동하지 않았다... 터미널에서는 작동에서는 작동한다. 혹시 py파일로 crontab 작업할때 실행되지않을때는 ipynb에서 잘못옮겨온 print없는 어떤 변수가 있을지 모르니 확인해야한다. Athena 에서 형변환 기존에 작성했던 쿼리를 Athena환경에서 실행하려고했는데 to_char도 안먹고 convert 도안되고 ::도 안되고 ... 기존 쿼리 : to_char (column_name, 'yyyy-mm-dd') "date", 변환 쿼리 : date_parse(column_name, '%y%m%d') "date", date_parse라는게 있었다.. Athena는 hive와 문법이 동일하다 postgresql 코드를 hive 코드로 마이그레이션 결과이다. DATE_PART('day', NOW() - t1.date as TIMESTAMP) => extract(day from (NOW() - t1.date)) 출처 : https://aws.amazon.com/ko/premiumsupport/knowledge-cen.. 주피터 노트북 작동 과정 Jupyter-notebook 을 사용하면서 작동원리를 한번도 생각안했는데 당연한거지만 구조를 친절하게 그려주신 분이 있어서 가져왔다. 자세한 것은 밑의 출처에서 확인. 출처 : https://heekangpark.github.io/etc/jupyter-lab String으로 메소드 호출 String 값으로 함수를 실행시키고자 할 때 쓰는 방법 항상 검색 방법이 틀려서 못찾았었는데 아래와 같은 방법이있음. locals()[String 변수]() 출처 : by 비트코딕 비트코딕 docker 에서 jupyter notebook 한글 깨짐 저 같은 사람이 많을것 같으므로 해결방법만 빠르게 보고 넘어가실것을 생각해 짧게 씁니다. 필자는 matplot 에서의 문제가 아니고 주피터목록부터 한글이 깨짐 아래와 같은 방법으로 바로 해결 run에 -e LANG=ko_KR.UTF-8 추가 환경 설정한다. ex) $ docker run -it -p 8001:8001 --name decrypt -e LANG=ko_KR.UTF-8 -v ~/workspace:/home jo1013/decrypt:0.02 $ apt-get update $ apt-get install locales $ locale-gen ko_KR.UTF-8 $ locale -a python 문법 __함수__ 들 init => 초기화(initialize) 메서드 ( init은 초기화 함수지 생성자함수가 아니다.) elf와 나란히 클래스 내에 등장하는 init에 대해서는 알아보자. init에 대해 간단히 정리하자면, 다음과 같다. 컨스트럭터라고 불리는 초기화를 위한 함수(메소드) 인스턴스화를 실시할 때 반드시 처음에 호출되는 특수한 함수 오브젝트 생성(인스턴스를 생성)과 관련하여 데이터의 초기를 실시하는 함수 name => _name 특성을 모듈의 정규화된 이름으로 설정해야 합니다. 이 이름은 가져오기 시스템에서 모듈을 고유하게 식별하는 데 사용됩니다. , interpreter가 실행 전에 만들어 둔 글로벌 변수입니다. main => name_ == 'main_' 식을 사용하여 확인할 수 있는 프로그.. typing 함수 함수 greeting에서 인수 name는 유형 str및 반환 유형 이어야 합니다 str. 하위 유형은 인수로 허용됩니다. def greeting(name: str) -> str: return 'Hello ' + name 유형 별칭 유형 별칭은 유형을 별칭에 할당하여 정의됩니다. 이 예에서 Vector및 list[float]는 상호 교환 가능한 동의어로 처리됩니다. Vector = list[float] def scale(scalar: float, vector: Vector) -> Vector: return [scalar * num for num in vector] # typechecks; a list of floats qualifies as a Vector. new_vector = scale.. Glue 문법 # toDF 함수는 RDD를 DataFrame으로 변환시켜주는 함수 df = rdd_data.toDF() # SparkContext는 Spark 클러스터에 대한 연결을 나타내며 해당 클러스터에서 RDD, 누적기 및 브로드캐스트 변수를 생성하는 데 사용할 수 있습니다. SparkContext() # Apache SparkSparkContext객체를 포함하여 Apache Spark 플랫폼과 상호작용하기 위한 원리를 제공합니다. GlueContext(spark_context 객체) # withColumn (추가 컬럼 이름, 값) withColumn(abc + "divide10000", # abc가 5보다 작을경우 0처리 (when(length(abc) < 5, "0") # abc가 5와 같거나 5보다 높을 경.. 이전 1 2 3 4 5 ··· 9 다음
