Diffusers documentation
๐งจ Diffusers์ ์ค๋ฆฌ ๊ฐ์ด๋๋ผ์ธ
๐งจ Diffusers์ ์ค๋ฆฌ ๊ฐ์ด๋๋ผ์ธ
์๋ฌธ
Diffusers๋ ์ฌ์ ํ์ต๋ ํ์ฐ ๋ชจ๋ธ์ ์ ๊ณตํ๋ฉฐ ์ถ๋ก ๊ณผ ํ์ต์ ์ํ ๋ชจ๋ํ ๋๊ตฌ ๋ชจ์ ์ญํ ์ ํฉ๋๋ค.
Diffusers ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ์ค์ ์ฌ๋ก์์ ๋๋ฆฌ ํ์ฉ๋๊ณ ์์ผ๋ฉฐ ์ฌํ์ ๋ถ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น ์ ์ฌ์ฑ์ด ์์ผ๋ฏ๋ก, ํ๋ก์ ํธ์ ์ค๋ฆฌ์ ๊ฐ์ด๋๋ผ์ธ์ ์ ๊ณตํ์ฌ ๊ฐ๋ฐ, ์ฌ์ฉ์์ ๊ธฐ์ฌ, ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ฌ์ฉ ๋ฐฉ์์ ์๋ดํ๋ ๊ฒ์ด ์ค์ํ๋ค๊ณ ์๊ฐํฉ๋๋ค.
์ด ๊ธฐ์ ์ฌ์ฉ๊ณผ ๊ด๋ จ๋ ์ํ์ ์ฌ์ ํ ๊ฒํ ์ค์ด์ง๋ง, ๋ช ๊ฐ์ง๋ฅผ ๊ผฝ์๋ฉด: ์์ ๊ฐ๋ค์ ์ ์๊ถ ๋ฌธ์ ; ๋ฅํ์ดํฌ ์ ์ฉ; ๋ถ์ ์ ํ ๋งฅ๋ฝ์์์ ์ฑ ๊ด๋ จ ์ฝํ ์ธ ์์ฑ; ๋์ ์๋ ์ฌ์นญ; ์์ธ๋ ์ง๋จ์ ๋ํ ์ต์์ ์ง์์ํค๋ ์ ํดํ ์ฌํ์ ํธํฅ. ์ฐ๋ฆฌ๋ ์ํ์ ์ง์์ ์ผ๋ก ์ถ์ ํ๊ณ , ์ปค๋ฎค๋ํฐ์ ๋ฐ์๊ณผ ๊ฐ์น ์๋ ํผ๋๋ฐฑ์ ๋ฐํ์ผ๋ก ๋ค์ ๊ฐ์ด๋๋ผ์ธ์ ์กฐ์ ํ ๊ฒ์ ๋๋ค.
๋ฒ์
Diffusers ์ปค๋ฎค๋ํฐ๋ ํ๋ก์ ํธ ๊ฐ๋ฐ์ ๋ค์ ์ค๋ฆฌ ๊ฐ์ด๋๋ผ์ธ์ ์ ์ฉํ๊ณ , ํนํ ์ค๋ฆฌ์ ์ฐ๋ ค์ ๊ด๋ จ๋ ๋ฏผ๊ฐํ ์ฃผ์ ์ ๋ํ ๊ธฐ์ฌ ํตํฉ ๋ฐฉ์์ ์กฐ์ ํ๋ ๋ฐ ๋์์ ์ค ๊ฒ์ ๋๋ค.
์ค๋ฆฌ ๊ฐ์ด๋๋ผ์ธ
๋ค์ ์ค๋ฆฌ ๊ฐ์ด๋๋ผ์ธ์ ์ผ๋ฐ์ ์ผ๋ก ์ ์ฉ๋์ง๋ง, ๊ธฐ์ ์ ์ ํ์ ํ ๋ ์ค๋ฆฌ์ ์ผ๋ก ๋ฏผ๊ฐํ ๋ฌธ์ ๋ฅผ ๋ค๋ฃจ๋ ๊ฒฝ์ฐ ์ฃผ๋ก ๊ตฌํ๋ฉ๋๋ค. ๋ํ, ํด๋น ๊ธฐ์ ์ ์ต์ฒจ๋จ ์ํ์ ๊ด๋ จ๋ ์๋ก์ด ํด์ ์ด ๋ฐ์ํจ์ ๋ฐ๋ผ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ด๋ฌํ ์ค๋ฆฌ ์์น์ ์กฐ์ ํ๋ ๊ฒ์ ์ฝ์ํฉ๋๋ค.
ํฌ๋ช ์ฑ: PR ๊ด๋ฆฌ, ์ฌ์ฉ์ ๋์ ์ ํ ์ฌํญ ์ค๋ช , ๊ธฐ์ ์ ์์ฌ๊ฒฐ์ ๊ณผ์ ์์ ํฌ๋ช ์ฑ์ ์ ์งํ๋ ๊ฒ์ ์ฝ์๋๋ฆฝ๋๋ค.
์ผ๊ด์ฑ: ํ๋ก์ ํธ ๊ด๋ฆฌ์์ ๋์ผํ ์์ค์ ์ฃผ์๋ฅผ ๊ธฐ์ธ์ด๊ณ , ๊ธฐ์ ์ ์ผ๋ก ์์ ์ ์ด๊ณ ์ผ๊ด๋ ์ํ๋ฅผ ์ ์งํ๋๋ก ๋ณด์ฅํ๋ ๊ฒ์ ์ฝ์๋๋ฆฝ๋๋ค.
๊ฐ๊ฒฐ์ฑ: Diffusers ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฝ๊ฒ ์ฌ์ฉํ๊ณ ํ์ฉํ ์ ์๋๋ก ํ๋ ค๋ ์์ง๋ก, ํ๋ก์ ํธ์ ๋ชฉํ๋ฅผ ๊ฐ๊ฒฐํ๊ณ ์ผ๊ด๋๊ฒ ์ ์งํ๋ ๋ฐ ์ ๋ ํ๊ณ ์์ต๋๋ค.
์ ๊ทผ์ฑ: Diffusers ํ๋ก์ ํธ๋ ๊ธฐ์ ์ ์ ๋ฌธ์ฑ์ด ์๋ ๊ธฐ์ฌ์๋ค๋ ํ๋ก์ ํธ๋ฅผ ์ด์ํ๋ ๋ฐ ๋์์ ์ค ์ ์๋๋ก ์ง์ ์ฅ๋ฒฝ์ ๋ฎ์ถ๋ ๋ฐ ๊ธฐ์ฌํฉ๋๋ค. ์ด๋ฅผ ํตํด ์ฐ๊ตฌ ์ฐ์ถ๋ฌผ์ด ์ปค๋ฎค๋ํฐ์ ๋ ์ฝ๊ฒ ์ ๊ทผํ ์ ์๊ฒ ๋ฉ๋๋ค.
์ฌํ ๊ฐ๋ฅ์ฑ: Diffusers ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด ์ ๊ณต๋๋ ์ ์คํธ๋ฆผ ์ฝ๋, ๋ชจ๋ธ, ๋ฐ์ดํฐ์ ์ ์ฌํ ๊ฐ๋ฅ์ฑ์ ๋ํด ํฌ๋ช ์ฑ์ ํ๋ณดํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
์ฑ ์: ์ปค๋ฎค๋ํฐ์ ํ์ํฌ๋ฅผ ํตํด, ์ฐ๋ฆฌ๋ ์ด ๊ธฐ์ ์ ์ ์ฌ์ ์ํ๊ณผ ํด์ ์ ์์ธกํ๊ณ ์ํํจ์ผ๋ก์จ ์ฌ์ฉ์์๊ฒ ๊ณต๋์ ์ฑ ์์ ์ง๋๋ค.
๊ตฌํ ์์: ์์ ๊ธฐ๋ฅ ๋ฐ ๋ฉ์ปค๋์ฆ
ํ์์๋ ํ์ฐ ๊ธฐ์ ๊ณผ ๊ด๋ จ๋ ์ ์ฌ์ ์ธ ์ค๋ฆฌ์ ๋ฐ ์ฌํ์ ์ํ์ ๋ค๋ฃจ๊ธฐ ์ํ ๊ธฐ์ ์ ๋ฐ ๋น๊ธฐ์ ์ ๋๊ตฌ๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด ๋งค์ผ ๋ ธ๋ ฅํ๊ณ ์์ต๋๋ค. ๋ํ, ์ปค๋ฎค๋ํฐ์ ํผ๋๋ฐฑ์ ์ด๋ฌํ ๊ธฐ๋ฅ์ ๊ตฌํ์ ๋ณด์ฅํ๊ณ ์ฐ๋ฆฌ์ ํจ๊ป ์ธ์์ ๋์ด๋ ๋ฐ ๋งค์ฐ ๊ฐ์น ์์ต๋๋ค.
์ปค๋ฎค๋ํฐ ํญ: ์ปค๋ฎค๋ํฐ๊ฐ ํ๋ก์ ํธ๋ฅผ ๋ ผ์ํ๊ณ ๋ ์ ํ์ ํ ์ ์๋๋ก ํฉ๋๋ค.
ํธํฅ ํ์ ๋ฐ ํ๊ฐ: Hugging Face ํ์ Stable Diffusion์ ํธํฅ์ ์ธํฐ๋ํฐ๋ธํ๊ฒ ์์ฐํ๋ space๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด ๊ด์ ์์ ์ฐ๋ฆฌ๋ ํธํฅ ํ์๊ณผ ํ๊ฐ๋ฅผ ์ง์ํ๊ณ ์ฅ๋ คํฉ๋๋ค.
๋ฐฐํฌ ์ ์์ ์ฑ ๊ฐํ
Safe Stable Diffusion: ํํฐ๋ง๋์ง ์์ ์น ํฌ๋กค๋ง ๋ฐ์ดํฐ์ ์ผ๋ก ํ์ต๋ ๋ชจ๋ธ, ์๋ฅผ ๋ค์ด Stable Diffusion๊ณผ ๊ฐ์ ๋ชจ๋ธ์์ ํํ ๋ฐ์ํ๋ ๋ถ์ ์ ํ ํดํ ๋ฌธ์ ๋ฅผ ์ํํฉ๋๋ค. ๊ด๋ จ ๋ ผ๋ฌธ: Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models.
Safety Checker: ์ด๋ฏธ์ง ์์ฑ ํ ์๋ฒ ๋ฉ ๊ณต๊ฐ์์ ํ๋์ฝ๋ฉ๋ ์ ํด ๊ฐ๋ ์งํฉ์ ํด๋์ค ํ๋ฅ ์ ๊ฒ์ฌํ๊ณ ๋น๊ตํฉ๋๋ค. ์ฒดํฌ์ด์ ์ญ๊ณตํ(reverse engineering)์ ๋ฐฉ์งํ๊ธฐ ์ํด ์ ํด ๊ฐ๋ ์ ์๋์ ์ผ๋ก ์จ๊ฒจ์ ธ ์์ต๋๋ค.
Hub์ ๋จ๊ณ๋ณ ๋ฆด๋ฆฌ์ค: ํนํ ๋ฏผ๊ฐํ ์ํฉ์์๋ ์ผ๋ถ ์ ์ฅ์๋ก์ ์ ๊ทผ์ ์ ํํด์ผ ํฉ๋๋ค. ์ด ๋จ๊ณ๋ณ ๋ฆด๋ฆฌ์ค๋ ์ ์ฅ์ ์์ฑ์๊ฐ ํด๋น ์ ์ฅ์์ ์ฌ์ฉ์ ๋ํด ๋ ๋ง์ ์ ์ด๋ฅผ ํ ์ ์๋๋ก ํ๋ ์ค๊ฐ ๋จ๊ณ์ ๋๋ค.
๋ผ์ด์ ์ฑ: OpenRAILs๋ ์๋ก์ด ์ ํ์ ๋ผ์ด์ ์ค๋ก, ๋ฌด๋ฃ ์ ๊ทผ์ ๋ณด์ฅํ๋ ๋์์ ๋ณด๋ค ์ฑ ์ ์๋ ์ฌ์ฉ์ ๋ณด์ฅํ๊ธฐ ์ํ ์ ํ ์ฌํญ์ ์ค์ ํ ์ ์์ต๋๋ค.