דוד ילין נולד בירושלים בשנת תרכ"ד (1864). הוריו הם יהושע יעלין יליד ירושלים, בן למשפחה שעלתה לארץ מפולין, ושרה (סרח) לבית יהודה, שהייתה בת למשפחה נודעת מעולי בגדד. יידיש וערבית היו ככל הנראה שפות האם של ילין, ואת השפה העברית הוא רכש בדבקות ממורים ובלימוד עצמי. בילדותו קיבל חינוך ב"חדר" אשכנזי ובהמשך בתלמוד תורה ובישיבת "עץ החיים".

ילין התבלט בשקדנותו מגיל צעיר. כשהיה כבן שתים־עשרה למד את כל התנ"ך תריסר פעמים במשך שנה אחת, וידע כמעט את כל ספרי התנ"ך בעל פה. בנערותו קנה ידיעה הגונה גם בערבית ובצרפתית והתעניין בדקדוק. בגיל ארבע־עשרה (תרל"ח; 1878) התחיל לשלוח כתבות וידיעות לעיתון "המגיד", ובאותה השנה ערך וכתב עיתון (ובלשונו – "מכתב עִתי") בכתב ידו בשם "הר ציון", שקהל היעד שלו היה בעיקר אביו. בהמשך כתב גם לעיתון "הלבנון".

בגיל שבע־עשרה נסע ילין להשתלם בבית ספר גבוה בלונדון, אך בהמלצת איש החינוך נסים בכר שב לארץ ולמד בבית הספר "אליאנס" של חברת "כל ישראל חברים". כך תיאר ילין את המפגש הראשון עם בכר בערב יום כיפור בבית הכנסת בלונדון:

אחרי כלותי תפלתי נגש אלי איש איירופי וישאל לי לשלום בשפת ערבית (כי הכריני ממצנפתי האדומה) וישאלני מהיכן באתי? ואענהו: מירושלם, וישאל לי למטרת בואי, וכאשר סִפרתי לו, אמר לי: "דע אנכי נוסע ירושלימה לפתוח שמה בית ספר אשר בדרכי ה' יתנהל, וגם כל הלימודים ילומדו בו, ועתה אם תאבה לשוב ירושלימה אוכל קחתך בבית ספרי".

ילין היה התלמיד האשכנזי הראשון בבית הספר ובגין כך רדפו את אביו הקנאים האשכנזים בירושלים, שללו ממנו את כספי התמיכה ("החלוקה") ואף ארבו לדוד ילין מחוץ לבית הספר. ואולם החרם לא הועיל וילין המשיך ללמוד ולהשתלם ב"אליאנס", וכעבור זמן קצר התמנה למורה לעברית ולערבית בבית הספר.