superset athena 연결시 주의사항

superset 재시작시

0. docker-compose down -> docker-compose up

1. superset_app bash 접속(docker)

2. pip / Athena 필요 라이브러리 install

3. bigdata DB 터널링(바스티온)

---

기본적으로 슈퍼셋은 볼륨에 연결되어 저장되기 때문에 오류발생시 docker-compose down 후에 다시 up해도 데이터는 유지한다.(필요 라이브러리는 재설치 필요)

---

# Athena 연결시

## 중요 무조건 설치해야함 또한 반드시 재시작해야 가능하다.

둘 중 아무거나 사용해도 되지만 나는 아래것을 사용했다.

$ pip install "PyAthenaJDBC>1.0.9  
$ pip install "PyAthena>1.2.0"

연결 코드

awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@athena.{region_name}.amazonaws.com/{schema_name}?s3_staging_dir={s3_staging_dir}&work_group={workgroup}

참고  : https://preset.io/blog/2021-5-25-data-lake-athena/

 

## 계정은 ec2에 직접 접속해서 직접  계정을 수정하면 account에 여러 db가 맞물려있기 때문에 건들면 오류가발생한다. 

 

$ superset fab reset-password --username userid --password userpassword

 

슈퍼셋 도커내에 bash 쉘에서 위와 같은 명령으로 계정 비밀번호를 변경해야한다.

 

권장 ec2 사양 :  t3-large 

 

플레시블 ip 설정 및 Application Load Balancer설정