본문 바로가기

전체 글

 (68)
리스트 빼기 리스트 import collections answer = collections.Counter(big) - collections.Counter(small) 이런 방식으로 리스트 빼기를 할수 있다. 1가지종류가있다면 한가지가 적어지는거라서 중복이 허용된다. 이말이 뭐냐면 big = [a,a,b,c] small = [a,b,c] 라면 저위 식대로 하면 answer.keys())[0] 가 'a' 가 된다. 만약 중복이고 뭐고 small의 요소를 다삭제하려면 answer = list(set(big)-set(small)) 이렇게 간단히 표현할 수 있다.
Pytorch 1.7 + colab TPU 병렬처리 사용법 colab 사용시 요약 BERT 돌리는데 자꾸 oom 문제 (out of memory)가 발생하여 Gpu 버전에서 TPU버전으로 바꿀때 바꿀것들 Pytorch는 기본적으로 GPU로 돌아가지만 xla라는 라이브러리를 이용하면 TPU를 사용가능하다. 별로 친절한 설명은 아니지만 참고바랍니다. 라이브러리 추가 : import torch import torch_xla import torch_xla.utils.utils as xu import torch_xla.core.xla_model as xm import torch_xla.utils.serialization as xser import torch_xla.distributed.parallel_loader as pl import torch_xla.distribut..
trans-mission 설치 라즈베리파이 우분투 나스 만들기에 꽤나 시간을 투자했는데 막히고 실수로 ssh 설정까지 막히는부분이 trans-mission으로 다운받아지는 파일(torrent)를 대부분 사용자들(구글search결과)이 sftp를 권장하여서 sftp 접속해서 핸드폰이나 다른전자기기 이용하고싶은데 그부분에서 계속 실수(ssh접속해제..)를 하고 잘 안됐었는데 아무래도 다른 방법으로 비디오를 공유해야 될것 같다 SSH 접속이 끊기는 것은 더 이상 경험하고 싶지 않다... 차라리 SSH접속은 그대로 냅두고 다른 폴더로 FTP 접속이나 삼바 등 여러방법을 생각해보기로했다 ..
sshd 접속 불가 해결 rasberry pi 4 8gb 에 Ubuntu 설치 후 (No moniter) 도킹스테이션에 2TB 하드도 뜯어서 꽂고 owncloud 설치후 잘쓰고있었는데 ssd 접속이 안되었는데 이유는 transmission(torrent)를 이용하고 싶어서 ssh 접속에서 /etc/ssh/sshd_config 파일 수정시 fstp 접속 코드를 수정하여서였다(권한문제 .ㅠ) 암튼 nano sd 카드 뽑아서 노트북에 끼고 부팅시 코드 실행 및 sshd_config 수정을 여러번해보았다. 부팅시 시작은 $ etc/init.d/auto_아무거나.sh 로 실행 명령어 쭉쭉 써놓고 $ sudo shmod 755 auto_아무거나.sh 이였나로 설정해주고 $ update rc.d auto_아무거나 default !!명령어 하..
BERT BERT 모델은 Jacob Devlin, Ming-Wei Chang, Kenton Lee 및 Kristina Toutanova 가 BERT : 언어 이해 를 위한 Deep Bidirectional Transformers의 사전 교육 에서 제안되었습니다 . 이것은 Toronto Book Corpus와 Wikipedia로 구성된 대규모 말뭉치에서 마스크 된 언어 모델링 목표와 다음 문장 예측의 조합을 사용하여 사전 훈련 된 양방향 변환기입니다. 논문의 초록은 다음과 같습니다. Transformers의 Bidirectional Encoder Representations를 의미하는 BERT라는 새로운 언어 표현 모델을 소개합니다. 최근의 언어 표현 모델과 달리 BERT는 모든 레이어의 왼쪽 및 오른쪽 컨텍스트에..
Docker 환경 구성 (huggingface) docker build 명령어 huggingface는 친절하게도 cpu, gpu, tpu 에 따라 docker 파일을 내장되어있다 또한 텐서플로우인지 텐서플로우에 따라나눠서 내장되어있다. 해당폴더에서 docker 파일 실행시킬 때 명령어 docker build -t pytorch:latest ./ docker build -t 지정이미지이름:태그(버전이라생각하면됌) ./
hugging face / open source transformers를 근간으로하고 있는 소스이며 (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, T5, CTRL...) for Natural Language Understanding (NLU) and Natural Language Generation (NLG) with over thousands of pretrained models in 100+ languages and deep interoperability between PyTorch & TensorFlow 2.0. 위와같은 자연어처리 모델들을 처리할때 이용하면 손쉽게 코드를 작성할수 있다. 아파치 라이센스 2.0 이며 별도의 허가는 필요없지나 notice 파일을 별도로만들어 소스코드의 저작권 및 Attribut..
Tensorflow 1.x -> 2.x 로 변환하기 https://www.tensorflow.org/guide/migrate?hl=ko

티스토리툴바