Blog for Programming

1. 개요 FLOWBIT 서비스에 LLM이 필요하다는 결론을 내리고 Groq라는 구세주를 만났다. 사용 모델을 llama3으로 확정한 후 테스트를 위해 모델에 여러 질문을 해보다가 프롬프트 엔지니어링을 알게되었고, 이를 적용해보았다. 이번 글에서는 그 과정을 적어보고자한다.2. 본론2.1 프롬프트 엔지니어링프롬프트 엔지니어링이란 무엇인가... 찾아보니 좋은 문서가 있어 공유해본다.  아래의 글을 요약하자면, 세부적인 결과를 얻을 수록 자세한 지침이 필요하고 이를 여러 방법(문자, 기호, 형식)으로 정규화 한것을 프롬프트 엔지니어링으로 생각하면 된다. https://aws.amazon.com/ko/what-is/prompt-engineering/ 프롬프트 엔지니어링이란? - AI 프롬프트 엔지니어링 설명 ..

1. 개요OpenAI를 무료로 사용하기 힘들었다. 무료로 사용할 수 있는 token수가 생각보다 적었다. 이 이슈를 정말 해결하고 싶었다. 사실 해결 방법은 간단하다. 돈을 쓰면 된다. 그러나 "조금 더 좋은 방법이 있지 않을까?" 라는 생각을 하게 되었고 Groq API를 알게 되었다.  input token의 제한으로 FLOWBIT VER2에서는 Chat GPT의 그래프 분석 기능이 포함되지 않았지만 다시 우리 서비스의 LLM을 사용한 그래프 분석 기능을 넣고 싶었고, 기획자분도 해당 기능의 필요성을 말해주셨다. 다음은 기획자분이 전달해주신 기획자료 중 일부이다. AI에이전트는 복잡한 정보를 한 번에 정리해주는 아주 중요한 기능을 한다. 내가 사용자였어도 비트코인 투자를 처음 시작한다면 복잡한 지표보..