Trang 1 trên tổng số 7 123... Cuối cùngCuối cùng
Từ 1 tới 10 trên tổng số 62 kết quả

Đề tài: Tạo 1 trang web crawler asp.net C#

  1. #1
    Ngày gia nhập
    08 2011
    Bài viết
    35

    Mặc định Tạo 1 trang web crawler asp.net C#

    Các bạn có thể hướng dẫn mình tạo 1 trang web lấy tin từ các trang khác không thông qua RSS được không.Theo mình được biết thì nó gọi là crawler nhưng mình chưa hình dung được cách thức hoạt động và tổ chức nó như thế nào để tạo được 1 trang web.
    Mong các bạn giúp đỡ.Thanks

  2. #2
    Ngày gia nhập
    06 2011
    Bài viết
    13

    Đầu tiên bạn cần phân biệt crawler và rss reader, crawler sẽ phức tạm hơn nhiều so việc việc reader(phức tạp nhất là việc chuẩn hóa).

    Để làm được bạn cần hiểu rõ RSS là gì, bạn xem thêm ở đây nhé http://vi.wikipedia.org/wiki/RSS_(định_dạng_tập_tin)

    Đọc xong bạn sẽ biết RSS thực ra cũng chỉ là xml, vậy nên đọc XML bình thường, tham khảo cái này nhé:

    code *.cs

    Visual C# Code:
    1. protected void Page_Load(object sender, EventArgs e)
    2.  {
    3.  XmlTextReader reader = null;
    4.  
    5.  try
    6.  {
    7.  reader = new XmlTextReader(“http://vnexpress.net/RSS/GL/trang-chu.rss”);
    8.  DataSet ds = new DataSet();
    9.  ds.ReadXml(reader);
    10.  dlRSS.DataSource = ds.Tables["item"];
    11.  dlRSS.DataBind();
    12.  }
    13.  catch (Exception ex)
    14.  {
    15.  Response.Write(ex.Message);
    16.  }
    17.  {
    18.  reader.Close();
    19.  }
    20.  }

    code Design

    ASP Code:
    1. <asp:DataList ID=”dlRSS” runat=”server” Width=”100%”>
    2.  <ItemTemplate>
    3.  <div class=”RSSTitle”><asp:HyperLink ID=”TitleLink” runat=”server” Text=’<%# Eval(“title”) %>’ NavigateUrl=’<%# Eval(“link”) %>’/></div>
    4.  <div class=”RSSSubtitle”><asp:Label ID=”SubtitleLabel” runat=”server” Text=’<%# Eval(“description”) %>’ /></div>
    5.  <div class=”RSSInfo”>
    6.  posted on <asp:Label ID=”DateRSSedLabel” runat=”server” Text=’<%# Eval(“pubDate”, “{0:d} @ {0:t}) %>’ />
    7.  </div>
    8.  </ItemTemplate>
    9.  </asp:DataList>

    Enjoy!

  3. #3
    Ngày gia nhập
    08 2011
    Bài viết
    35

    Cám ơn bạn đã chia sẻ.
    Nhưng vấn đề ở đây của mình là làm crawler còn RSS thì mình đã làm rồi.Bạn có hiểu về crawler thì bạn nói cho mình với.Về cơ chế, cách thức hoạt động...
    Thanks bạn đã giúp đỡ

  4. #4
    Ngày gia nhập
    04 2010
    Nơi ở
    Trên hành tinh thứ ba tính từ Mặt trời
    Bài viết
    202

    Crawler là một tiến trình có nhiệm vụ đi đến các địa chỉ URL, phân tích mã HTML của trang web ở địa chỉ đó và xử lý nội dung tùy theo ứng dụng. Các crawler sau đó lần theo các địa chỉ URL có trong trang HTML mà nó đang phân tích để tiếp tục mở rộng phạm vi tìm kiếm của nó.
    Còn nói chi tiết hơn thì bạn xem tại: http://en.wikipedia.org/wiki/Web_crawler
    Microsoft Student Partner
    University of Information Technology - VNUHCM
    Visit my blog: My power is my mind

  5. #5
    Ngày gia nhập
    08 2011
    Bài viết
    35

    Bạn có thể nói rõ hơn được không.Cơ chế nào để lần theo các URL.Mình đọc trên wiki nhưng chưa được hiểu rõ lắm
    Thanks bạn đã quan tâm

  6. #6
    Ngày gia nhập
    07 2008
    Nơi ở
    /media/Anime
    Bài viết
    2,288

    Mặc định Tạo 1 trang web crawler asp.net C#

    Trích dẫn Nguyên bản được gửi bởi cuongnguyenict Xem bài viết
    Bạn có thể nói rõ hơn được không.Cơ chế nào để lần theo các URL.Mình đọc trên wiki nhưng chưa được hiểu rõ lắm
    Thanks bạn đã quan tâm
    Bạn phân tích code html, sau đó tìm ra thẻ anchor ( thẻ a ), sau đó lấy ra href của nó để có được link.
    Càng yêu mèo thì mèo càng mập. Mèo càng mập ta lại càng yêu.

  7. #7
    Ngày gia nhập
    08 2011
    Nơi ở
    Hà Nội | http://ipmac.vn
    Bài viết
    198

    Sao bạn không hoi đại ca nhỉ ?
    http://www.codeproject.com/KB/IP/Crawler.aspx

    Đại ca của tớ là google bạn ạ
    Đã được chỉnh sửa lần cuối bởi anhnt3 : 05-08-2011 lúc 01:25 PM.

  8. #8
    Ngày gia nhập
    08 2011
    Bài viết
    35

    @meoconlongvang mình hiểu ý bạn.Nhưng mình giờ thật sự không hiểu cơ chế của nó.Cần cái bạn nói hoặc chỉ cho chỗ nào nói rõ về cơ chế của nó.Thanks bạn
    @anhnt3 Mình cám ơn bạn về demo.đại ca là ai vậy bạn

  9. #9
    Ngày gia nhập
    07 2008
    Nơi ở
    /media/Anime
    Bài viết
    2,288

    Trích dẫn Nguyên bản được gửi bởi cuongnguyenict Xem bài viết
    @meoconlongvang mình hiểu ý bạn.Nhưng mình giờ thật sự không hiểu cơ chế của nó.Cần cái bạn nói hoặc chỉ cho chỗ nào nói rõ về cơ chế của nó.Thanks bạn
    @anhnt3 Mình cám ơn bạn về demo.đại ca là ai vậy bạn
    1. Bạn cũng ko hiểu bạn đang muốn hỏi gì luôn. Cái cơ chế ấy theo ý bạn là thế nào ?
    2. "đại ca" = codeproject
    Càng yêu mèo thì mèo càng mập. Mèo càng mập ta lại càng yêu.

  10. #10
    Ngày gia nhập
    08 2011
    Bài viết
    35

    Thanks bạn meo đã reply.
    1. Cơ chế ở đây mình muốn hỏi là làm thế nào nó có thể nó bóc tách thể <a> và lần ra theo các thẻ URL theo cách nào.Có theo thuật toán nào không.
    2.Cái coder down về là phần mềm dùng chứ không phải code.

Các đề tài tương tự

  1. (Crawler) lấy tất cả images trên web, sau đó hiển thị thành list images trong winform???
    Gửi bởi boyhuhong159 trong diễn đàn Thắc mắc lập trình C#
    Trả lời: 2
    Bài viết cuối: 03-09-2013, 12:59 PM
  2. Hà Nội VCCorp tuyển Lập trình viên .Net và Crawler
    Gửi bởi tuyendungvc trong diễn đàn Tuyển dụng - Việc làm CNTT
    Trả lời: 1
    Bài viết cuối: 08-08-2013, 11:14 AM
  3. Thời trang công sở cho phái mạnh|| Thời trang doanh nhân||Thời trang văn phòng|| Veston doanh nhân
    Gửi bởi johnny_david trong diễn đàn Giới thiệu website, sản phẩm của bạn
    Trả lời: 0
    Bài viết cuối: 30-05-2013, 02:30 PM
  4. Crawler dữ liệu từ các web hãng hàng không jetstar
    Gửi bởi minhdv85 trong diễn đàn Thắc mắc lập trình C#
    Trả lời: 8
    Bài viết cuối: 11-12-2012, 03:18 PM
  5. Thuật toán nào để xác định một trang web là trang chi tiết hay trang tóm tắt
    Gửi bởi Quanptit trong diễn đàn Thắc mắc lập trình C/C++/C++0x
    Trả lời: 1
    Bài viết cuối: 26-08-2011, 04:30 PM

Tags của đề tài này

Quyền hạn của bạn

  • Bạn không thể gửi đề tài mới
  • Bạn không thể gửi bài trả lời
  • Bạn không thể gửi các đính kèm
  • Bạn không thể chỉnh sửa bài viết của bạn