Notice
Recent Posts
Recent Comments
Link
๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กReLU (1)

KoreanFoodie's Study

๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ 3๊ฐ• 1๋ถ€, ์‹ ๊ฒฝ๋ง๊ณผ ํ™œ์„ฑํ™” ํ•จ์ˆ˜ - ๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹

ํ•ด๋‹น ํฌ์ŠคํŒ…์€ ํ•œ๋น› ๋ฏธ๋””์–ด์—์„œ ์ถœํŒํ•œ '๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹'์ด๋ผ๋Š” ๊ต์žฌ์˜ ๋‚ด์šฉ์„ ๋”ฐ๋ผ๊ฐ€๋ฉฐ ๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ด€๋ จ ์ž๋ฃŒ๋Š” ์—ฌ๊ธฐ์—์„œ ์ฐพ๊ฑฐ๋‚˜ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์œผ์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํผ์…‰ํŠธ๋ก ์—์„œ ์‹ ๊ฒฝ๋ง์œผ๋กœ ์‹ ๊ฒฝ๋ง์˜ ์˜ˆ ์‹ ๊ฒฝ๋ง์„ ๊ทธ๋ฆผ์œผ๋กœ ๋‚˜ํƒ€๋‚ธ ์˜ˆ์‹œ๋ฅผ ๋ณด์ž. Input์ด๋ผ๊ณ  ํ‘œ์‹œ๋œ ๊ฒƒ์€ ์ž…๋ ฅ์ธต, ๋งจ ์˜ค๋ฅธ์ชฝ ์ค„(Output)์„ ์ถœ๋ ฅ์ธต, ์ค‘๊ฐ„ ์ธต(Hidden)์„ ์€๋‹‰์ธต์ด๋ผ๊ณ  ํ•œ๋‹ค. ์€๋‹‰์ธต์˜ ๋‰ด๋Ÿฐ์€ ์‚ฌ๋žŒ ๋ˆˆ์—๋Š” ๋ณด์ด์ง€ ์•Š๋Š”๋‹ค. 0์ธต์˜ ์ž…๋ ฅ์ธต, 1์ธต์ด ์€๋‹‰์ธต, 2์ธต์ด ์ถœ๋ ฅ์ธต์ด ๋œ๋‹ค. ํผ์…‰ํŠธ๋ก  ๋ณต์Šต ๊ธฐ์กด ํผ์…‰ํŠธ๋ก ์€ ์ด๋Ÿฐ ๊ตฌ์กฐ๋ฅผ ํ•˜๊ณ  ์žˆ๋‹ค. # ์‹ : y = 0 (b + w1x1 + w2x2 0) ์—ฌ๊ธฐ์„œ b๋Š” ํŽธํ–ฅ์„ ๋‚˜ํƒ€๋‚ด๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ, ๋‰ด๋Ÿฐ์ด ์–ผ๋งˆ๋‚˜ ์‰ฝ๊ฒŒ ํ™œ์„ฑํ™”๋˜๋Š๋ƒ๋ฅผ ์ œ์–ดํ•œ๋‹ค. ํ•œํŽธ, w1๊ณผ w2๋Š” ๊ฐ..