[FLOWBIT] Groq API의 적용기 #1 (LLM을 무료로 사용하는 방법) 🤖

1. 개요

OpenAI를 무료로 사용하기 힘들었다. 무료로 사용할 수 있는 token수가 생각보다 적었다. 이 이슈를 정말 해결하고 싶었다. 사실 해결 방법은 간단하다. 돈을 쓰면 된다. 그러나 "조금 더 좋은 방법이 있지 않을까?" 라는 생각을 하게 되었고 Groq API를 알게 되었다.

 

 input token의 제한으로 FLOWBIT VER2에서는 Chat GPT의 그래프 분석 기능이 포함되지 않았지만 다시 우리 서비스의 LLM을 사용한 그래프 분석 기능을 넣고 싶었고, 기획자분도 해당 기능의 필요성을 말해주셨다. 다음은 기획자분이 전달해주신 기획자료 중 일부이다.

---

---

 AI에이전트는 복잡한 정보를 한 번에 정리해주는 아주 중요한 기능을 한다. 내가 사용자였어도 비트코인 투자를 처음 시작한다면 복잡한 지표보다는 한번에 정리된 글로 투자를 시작하는 것이 훨씬 편할 것이라고 생각했다. 결국 나는 OpenAI의 대체제를 사용해야 했고, 다행이 찾았다. 오늘은 그 과정을 정리해보고자 한다.

2. 본론

 내가 찾은 API는 Groq사에서 제공하는 API였다. 다양한 모델을 사용할 수 있었다.

---

---

 자 그래서 어떤 모델을 사용할 것인가!!! 나는 gemma2와 llama-3.3 중에 고민하였다. llama3.3는 다양한 언어를 지원하는 모델로 익히 알고있었지만 그게 다였다. 여러가지 자료를 찾아보다 깔끔하게 정리된 자료를 찾았다.

---

https://beebom.com/gemma-2-vs-llama-3/

Gemma 2 vs Llama 3: Best Open-Source AI Model?

---

 결론을 보면 gemma2는 추론에 약하다는 내용이 있다. 나의 서비스는 추후 추론을 해야할 일이 분명 있을것이라 생각하여 모델을 Llama 3.3으로 정하였다.

 

 Groq는 사용하기 정말 간단하다. 아래의 사이트로 이동하여 API Key를 발급받으면 된다. OpenAI같은 경우 카드 정보를 입력해야했는데, Groq는 그럴 필요가 없어 간단하다.

---

https://console.groq.com/keys

GroqCloud

---

 Key를 발급 받으면 다음과 같이 사용할 수 있는 Key가 발급된다.

---

---

 자 이제 테스트만 하면 된다. 테스트 코드는 다음과 같다.

 

- 테스트 코드

from groq import Groq

GROQ_API_KEY=""

client = Groq(
    api_key=GROQ_API_KEY
)

message = ("Hello!")

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": message,
        }
    ],
    model="llama3-70b-8192",
)

print(chat_completion.choices[0].message.content)

 

 답변은 다음과 같이 왔다.

---

---

3. 결어

 우리 서비스에 다시 LLM 모델을 사용해서 정말 기쁘다. 그리고 그 모델이 무료라니 더 기쁘다. LLM을 서비스에 적용하는 과정을 꾸준하게 올릴 계획이다.