modified model path

app.py

@@ -4,19 +4,26 @@ import os
 import torch
 
 theme = "darkgrass"
-title = "GPT-NeoX(Korean) Demo"
-model_name = "EleutherAI/gpt-neox-ko-1.3b"
+title = "Polyglot(Korean) Demo"
+model_name = "EleutherAI/polyglot-ko-1.3b"
+
+bad_words = [
+  '...',
+  '....',
+  '(중략)',
+  'http'
+]
 
-description = "GPT-NeoX 한국어 모델을 시연하는 데모페이지 입니다."
-# article = "<p style='text-align: center'><a href='https://github.com/kingoflolz/mesh-transformer-jax' target='_blank'>GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model</a></p>"
+description = "polyglot (1.3B 파라미터 사이즈) 한국어 모델을 시연하는 데모페이지 입니다."
+article = "<p style='text-align: center'><a href='https://github.com/EleutherAI/polyglot' target='_blank'>Polyglot: Large Language Models of Well-balanced Competence in Multi-languages</a></p>"
 examples = [
-    ["인간처럼 생각하고, 행동하는 '지능'을 통해"],
-    ["질문: 일본의 앞으로의 100년은 어떻게 될까요? \n답변:"],
+    ["CPU와 GPU의 차이는,"],
+    ["질문: 우크라이나 전쟁이 세계3차대전으로 확전이 될까요? \n답변:"],
     ["2040년 미국은, "]
 ]
-tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-ko-1.3b-release", use_auth_token=os.environ['TOKEN'])
+tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(
-  "EleutherAI/gpt-neox-ko-1.3b-release", use_auth_token=os.environ['TOKEN']
+  model_name
 )
 model.eval()
 
@@ -30,10 +37,7 @@ def predict(text):
       tokens, do_sample=True, temperature=0.8, max_new_tokens=64, top_k=50, top_p=0.8,
       no_repeat_ngram_size=3, repetition_penalty=1.2,
       bad_words_ids=[
-        tokenizer.encode('...'), 
-        tokenizer.encode('....'),  
-        tokenizer.encode('(중략)'),
-        tokenizer.encode('http')
+        tokenizer.encode(bad_word) for bad_word in bad_words
       ],
       eos_token_id=tokenizer.eos_token_id,
       pad_token_id=tokenizer.pad_token_id