전체 글 (75) 썸네일형 리스트형 [shell script] 내 컴퓨터 모니터링을 위한 쉘 파일 생성 쉘 스크립트를 활용해서 내 컴퓨터의 디스크/로그/CPU 사용량을 모니터링 해보자* 참고로 맥북임 기본 명령어로 확인1. 기본 용량 확인df : 디스크 사용량-h : 사람이 읽기 좋게 (GB/MB)# 1. 기본 용량 확인 가능df -h################ vscode 뭐냐.... ################Filesystem Size Used Avail Capacity iused ifree %iused Mounted on/dev/disk3s1s1 228Gi 10Gi 38Gi 22% 426k 397M 0% /devfs .. 데코레이터 데코레이터 종류와 예시를 정리해보자(일단 회사에서 사용하는 것들 위주로 정리) 종류: classmethod, abstractmethod, dataclass, staticmethod, property 1. classmethod클래스 메소드를 정의 시 사용. 클래스 메소드는 첫 번째 인자로 self가 아니라~ 클래스 자체(cls)를 받는다. 이는 메소드가 클래스 인스턴스가 아닌 클래스에 바인딩되어 있다는 것을 의미(인스턴스 생성 없이 클래스명 자체로 직접 호출 가능하다는 것).class Beverage: name = "Unknown Beverage" @classmethod def description(cls): return "This is a " + cls.nameclass .. [작성중] 컨테이너, 도커, 쿠버네티스 링크 : https://www.youtube.com/watch?v=eRfHp16qJq8 [작성중] 분산 시스템_하둡 링크 : https://www.youtube.com/playlist?list=PLY-_9hx4ldZwYOjtfRT0MV2k9JcnTUYW2 컴퓨터 하드웨어에 대해 알아보자 엄청 오랜만에 티스토리 켜는 듯.. 조만간 스파크 관련해서도 정리해보자 일단 참고할 만한 링크 모아놓고 정리 진행하기 참고 자료- PC 부품 1편 : https://youtu.be/nIe7w0GI4Fk?si=rsdBBGFSYypySYEs- PC 부품 2편 : https://youtu.be/AjizVS0UZuo?si=QPEbyrwjXnqQhfbD 컴퓨터 구조와 운영체제 관련 재생목록- 혼자공부하는 컴퓨터 구조 & 운영체제요약 : https://www.youtube.com/playlist?list=PLVsNizTWUw7FCS83JhC1vflK8OcLRG0Hl총정리 : https://www.youtube.com/watch?v=kFWP6sFKyp0&t=29s- 언젠가 조립이 하고 싶을 듯한데, 다음 영상 맛보기.. ICT이노베이션스퀘어 - [데이터 엔지니어링 8주차] 리뷰 긍부정 분류 파이프라인 예제 아래 그림과 같은 간단한... 파이프라인을 구축해보자 1. vscode 실행아래와 같이 세팅해준다.1) 파워쉘에서 AWS EC2 접속2) 가상환경(난 kafka-env) 접속 후 사이킷런 없으면 install 해주기3) VScode 켜서 호스트 AWS 연결해주고, 가상환경도 연결(파이썬 3.8 환경에서 작업함) + 작업할 폴더도 열어주기4) 프로젝트를 위한 새로운 디렉토리 생성해서 폴더에 데이터와 코드 파일 만들어 줄 것.(데이터는 제공받은 txt 파일 사용했음..)2. batch_train_model.py다음과 같은 순서로 데이터 전처리 ~ training 까지 수행하는 코드 짤 것임.1) Data load2) Data Preprocessing3) Model Training4) 모델 저장(pkl형식) .. ICT이노베이션스퀘어 - [데이터 엔지니어링 7주차] Kafdrop 세팅 기본 세팅저번 카프카 관련 세팅 완료 후 아래의 과정을 실행 한 뒤에 Kafdrop을 (로컬에서) 실행해주면 된다. 1) 우분투 접속(AWS) 2) 주키퍼 실행$KAFKA_HOME/bin/zookeeper-server-start.sh $KAFKA_HOME/config/zookeeper.properties 3) 카프카 브로커 실행$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties Kafdrop 실행아니....이거 뭔데.. 이 부분은 우분투 말고 로컬로 해준다....일단 Kafdrop 버전에 맞춰서 자바 11 버전 다운로드 후 powershell에서 버전 확인 및 환경 변수 설정. 시작 - "환경" 검색 - 시스템 환경 변수 .. ICT이노베이션스퀘어 - [데이터 엔지니어링 7주차] Kafdrop 활용 - 거래내역 이상탐지 카프카를 사용해서 카드 거래내역에 대한 이상 거래 탐지 프로그램을 만들어보자. 참고로 - payment_producer.py : 로그 데이터 생성용- fraud_detector.py : 프로듀서 역할. 조건 설정 후, 이상이 있으면 이후에 fraud_processor.py로 데이터 전송 / 이상 없으면 legit_process.py로 데이터 전송- legit_process.py : 정상 거래 데이터 받아오는 consumer- fraud_processor.py : 이상 거래 데이터 받아오는 consummer--> 즉, 프로듀서 1개, 컨슈머 2개, 로그 생성용 파일 1개 로그 데이터 생성(payment_producer.py 실행) 로그데이터 생성 & 이상 탐지 py 파일 저장터미널에서 실행한 예시데이터 .. 이전 1 2 3 4 ··· 10 다음
