现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行的! 但我们用IE浏览页面时是正常的,所以解决方法只有1个就是采用WebBrowser控件 但是使用Webbrowser你会发现,在DownloadComplete事件中,你根本无法知道页面何时才算是真正的加载完毕! 当然个别有Frame的网页可能会触发多次Complete,即使你采用计数器的办法,即在Navigated事件中++,而在DownloadComplete中做--,也仍然不能得到JS完成执行后的结果,我开始也感觉到非常奇怪,直到后来GG了相关AJAX的文章,明白了其中原委. 最终解决方案就是利用WebBrowser+Timer来解决抓取页面的问题 而其中的关键仍然是页面状态,我们可以利用webBrowser1.StatusText,如果返回"完成",表示页面加载完毕! 示例代码如下: private void timer1_Tick(object sender, EventArgs e) { textBox1.Text += webBrowser1.StatusText; if (webBrowser1.StatusText == "完成") { timer1.Enabled = false; //页面加载完成,做一些其它的事 textBox1.Text += webBrowser1.Document.Body.OuterHtml; //webBrowser1.DocumentText 注意不要用这个,这个和查看源文件一样的 } } private void Form1_Load(object sender, EventArgs e) { string Url = "http://cd.mei8.cn/face/work/windex.aspx?btn=6"; webBrowser1.Navigate(Url); } 放三个控件,webBrowser,timer,textBox timer设置为可用
相关推荐
采用WebBrowser伪装成浏览器访问,绕过了反爬虫程序,获取一个目标网页的数据
1、webBrowser加载网页 (如有Ajax动态加载分页的网站,需要配合页面动作,直到页面加载完成,如:滚动条操作) 2、加载完成后获取webBrowser.Document (配合使用webBrowser_DocumentCompleted和Application....
基于c# 的webbrowser控件,开发的自动提取页面html文档技术实例,能够提取 ajax内容,https内容。
使用C#中的WebBrowser控件抓取网页源码(对Ajax的网页特别有用)。 由于时间的限制,本程序没有像蜘蛛那样的爬行功能,只能对特定的网址进行抓取,但本程序允许你导入一批网址,然后进行抓取
从一个足球数据网站循环访问不同网页获取ajax数据 ,使用了线程和... 不能从webbrowser1.documenttext 获取ajax数据 ,需要使用webbrowser1.document.getelementbyid获取ajax内容。每隔4秒转使用委托转到下一个网页。