전체 글
-
주제를 좁히는 것의 중요성사고법 2024. 7. 29. 19:16
매듭이론의 불변량, 특수 상대성 이론, 복소해석학의 해석함수, 기계 학습의 인공신경망 등등 인류가 떠올린 많은 지적인 성과들이 주제를 좁히는 것에서 나왔다. 매듭이론에서 매듭 구분문제는 정말 어려운 것으로 여겨져 왔다. 하지만 임의의 두 매듭이 동일한 지를 구분할 수 있다고 확언하는 알고리즘은 시간 복잡도가 말도 안되게 크지만, 불변량이라는 개념으로 논의를 지속하는 것이 가능해졌다. 불변량이 같다고 두 매듭이 동일한 것은 아니지만 불변량이 다르다면 두 매듭은 확실히 다른 매듭이기 때문에, 다음과 같이 불변량을 조합하여 인덱싱 하면 (), 우리가 알고 있는 매듭들에 대해서 거의 대부분 구분이 되기 때문이다. 만약 수학자들이 어렵기로 정평이 나 있는 일반적인 매듭 구분법에만 계속 매달렸다면 지금과 같이 다양..
-
지구 온난화로 미루어 보았을 때 우리는 운석 충돌을 피했을 지도 모른다.카테고리 없음 2024. 7. 19. 14:53
최소 작용의 법칙, 헤밀턴의 원리, 라그랑주 역학 같은 목적론적 역학에 대해 공부하다가 더워서 빡이 쳤는데 문뜩 떠올라버렸다.방학인데 고점도르 포기하고 저점도르 중이라 할게 ㅈㄴ 없다. 내 머리속으로 go!항상 우주는 작용을 최소화하는 방향으로 진행한다.작용의 정의는 다음과 같다.$\int \mathcal{L} \cdot dt$ , $\mathcal{L} = T - U$ , $T$ = (계의 운동에너지) , $U$ = (계의 포텐셜에너지)물론 이 법칙은 물리 법칙이 허용하는 내에서 작용을 최소화 한다는 이야기이다.열역학 제 2 법칙을 무시하고 갑자기 운동에너지가 포텐셜에너지로 바뀌어서 작용을 최소화하려고 할 수는 없는 노릇이다. 난 여기서 어떤 계를 제안한다.한 10만년 가량의 태양 빛과 지구를 포함한..
-
재귀적 자기 개선 모델AI 2024. 7. 17. 12:30
"llm이 모든 것을 학습할 필요는 없다. 다만 자신을 개선하는 방법만 학습하면 된다."근데 이 것이 가능하려면 자기 자신이 학습 데이터를 만들어내는 과정이 필요하다.이 것은 근거와 결과의 시너지 작용을 통해 설명할 수 있다.결과를 내기 위해 근거를 생성하면 더 좋은 결과를 낼 수 있다.그리고 좋은 결과를 많이 학습하면 더 좋은 근거를 낼 수 있다.이 두 가지 작용이 시너지를 일으켜 자기 자신이 학습할 데이터를 자신이 개선할 수 있다는 생각이다. 생각해 보면 인간도 마찬가지이다.사람도 자신의 삶을 개선하기 위해 끈임없이 생각한다.
-
email 사무 자동화 testAI 2024. 7. 16. 12:40
https://github.com/akswnd98/langchain-agent-test GitHub - akswnd98/langchain-agent-testContribute to akswnd98/langchain-agent-test development by creating an account on GitHub.github.com gemma_2_27b_4q_agent_test.ipynb에 searxng와 gmail api를 사용하여 검색결과를 자동으로 email로 보내주는 예제가 있다. gpu 구동 환경은 rtx3090ti 이다.내가 봤을 때 간단한 사무 자동화는 개인용 pc에서도 충분히 구동 가능하다.아마 RAG에 사용할 문서만 충분하다면 회사 사무 업무도 자동화가 충분히 가능할 거 같은데,짬이 날 ..
-
langchain agent로 사용할 때 llm 모델들 테스트AI 2024. 7. 15. 22:32
https://github.com/akswnd98/langchain-agent-test GitHub - akswnd98/langchain-agent-testContribute to akswnd98/langchain-agent-test development by creating an account on GitHub.github.com 다음 4가지 방식을 테스트 해 보았다.1. llama-3-8b-it2. llama-3-8b-it lora fintuned with xz56/react-llama dataset (https://huggingface.co/datasets/xz56/react-llama)3. gemma-2-9b-it4. gemma-2-27b-it 4bit quantized (https://huggi..
-
chain에 대한 나만의 구현AI 2024. 7. 12. 22:07
# 본문랭체인을 공부하다가 LCEL이라는 내용을 보게 되었는데, LCEL 안에 chain과 관련된 코드를 보고 타입 유추가 잘 안돼서 나만의 방식을 고민해 보았다.from typing import TypeVar, GenericInput = TypeVar('Input')Output = TypeVar('Output')Mid = TypeVar('Mid')NextOutput = TypeVar('NextOutput')class RawConverter (Generic[Input, Output]): def convert (self, input: Input) -> Output: return inputclass Converter (RawConverter[Input, Output]): def __or__ (sel..
-
앞으로 한 동안 추론용 AI 반도체(NPU)가 중요한 이유 (openai의 시각으로 본)AI 2024. 7. 5. 18:27
일단 llm base model 학습에 대한 이야기는 접어두겠다.왜냐하면 기본적으로 gpu 수백, 수천 개로 진행하는 base model 학습은 대기업이 할 수 있는 일이고,최근에 opensource로 base model들이 잇따라 공개되면서 ai 서비스 구축이라는 측면에서,대부분의 계층의 사람들이 base model 학습과는 거리가 멀기 때문이다.한 마디로, 이 글에서는 ai 보급화 측면에서 이야기 한다. finetuning에 대한 openai의 관점을 엿볼 수 있는 페이지가 있다.https://platform.openai.com/docs/guides/fine-tuning 이 페이지에 보면Once a model has been fine-tuned, you won't need to provide as m..
-