C# 웹 로그인 + 마이페이지 크롤링(HttpWebRequest, HttpWebResponse)

특정 웹페이지 로그인후, 마이페이지의 내용을 긁어오는 소스코드입니다.

순서는 아래와 같습니다.

1. 웹 로그인 Action 페이지로 아이디/패스워드 값 POST로 전송

2. 아이디/패스워드 일치하면 로그인 쿠키/세션 취득

3. 획득한 쿠키/세션으로 마이페이지 크롤링

더 나아가면 게시판 글쓰기나 댓글쓰기도 가능하겠죵~ 헤헤

1. using System;
2. using System.Collections.Generic;
3. using System.ComponentModel;
4. using System.Data;
5. using System.Drawing;
6. using System.IO;
7. using System.Linq;
8. using System.Net;
9. using System.Text;
10. using System.Text.RegularExpressions;
11. using System.Threading.Tasks;
12. using System.Windows.Forms;
13.  
14. namespace WebControl
15. {
16.     public partial class Form1 : Form
17.     {
18.         public Form1()
19.         {
20.             InitializeComponent();
21.         }
22.  
23.         public static CookieContainer cookie = new CookieContainer();
24.  
25.         //페이지 로그인 하면서 쿠키를 받아롬
26.         public HttpWebResponse mainLogin()
27.         {
28.             //REQUEST 설정
29.             HttpWebRequest req = (HttpWebRequest)WebRequest.Create("로그인URL");
30.             req.Method = "Post";
31.             req.UserAgent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2";
32.             string s = "mb_id=로그인아이디&mb_password=로그인패스워드"; //input테그 목록을 참조해서 바꿈
33.             req.CookieContainer = cookie; //삽질한 부분 - 쿠키 컨테이너는 static 으로 공유되어야함
34.             req.ContentLength = s.Length;
35.             req.ContentType = "application/x-www-form-urlencoded; charset=utf-8";
36.             //req.ContentType = "text/plain";
37.             //req.ContentType = "application/xml, text/xml, */*; q=0.01";
38.             req.KeepAlive = true;
39.  
40.             //POST값 전송
41.             TextWriter w = (TextWriter)new System.IO.StreamWriter(req.GetRequestStream());
42.             w.Write(s);
43.             w.Close();
44.  
45.             //사이트 긁어오기
46.             HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
47.             TextReader r = (TextReader)new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("UTF-8"));
48.             //Console.WriteLine(r.ReadToEnd());
49.  
50.             //Console.WriteLine("로그인 성공");
51.             return resp;
52.         }
53.  
54.         public string loginImageURL(HttpWebResponse resp)
55.         {
56.             //TextReader rr = (TextReader)new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("UTF-8"));
57.             //Console.WriteLine("rr = " + rr.ReadToEnd());
58.  
59.             //HttpWebResponse respBuffer = resp;
60.             //respBuffer = resp;
61.             Console.WriteLine("페이지 로드중");
62.  
63.             //로그인 (사용자 인증 후에 할 일)
64.             HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://repoint.kr/bbs/mypage.php");
65.             //req.UserAgent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2";
66.             //req.ContentType = "application/x-www-form-urlencoded; charset=utf-8";
67.  
68.             //Console.WriteLine("resp.Cookies = " + resp.Cookies);
69.  
70.             //세션 쿠키 유지
71.             req.CookieContainer = cookie; //삽질한 부분 - 쿠키 컨테이너는 static 으로 공유되어야함
72.             req.CookieContainer.Add(resp.Cookies);
73.  
74.             //사이트 긁어오기
75.             resp = (HttpWebResponse)req.GetResponse();
76.             TextReader r = (TextReader)new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("UTF-8"));
77.             Console.WriteLine(r.ReadToEnd());
78.  
79.             string htmlBuffer = r.ReadToEnd();
80.  
81.             return htmlBuffer;
82.         }
83.  
84.         public void saveFile(string r)
85.         {
86.             resultbox.Text = r;
87.  
88.             //파일 저장 하는 구간
89.             try
90.             {
91.                 //Pass the filepath and filename to the StreamWriter Constructor
92.                 StreamWriter sw = new StreamWriter("C:\\Test.txt");
93.  
94.                 //Write a line of text
95.                 sw.WriteLine(r);
96.  
97.                 //Close the file
98.                 sw.Close();
99.             }
100.             catch (Exception e)
101.             {
102.                 //Console.WriteLine("Exception: " + e.Message);
103.             }
104.             finally
105.             {
106.                 //Console.WriteLine("Executing finally block.");
107.             }
108.         }
109.  
110.         private void button1_Click(object sender, EventArgs e)
111.         {
112.             HttpWebResponse req = mainLogin();
113.             string content = loginImageURL(req);
114.             saveFile(content);
115.         }
116.     }
117. }
118.