資訊專欄INFORMATION COLUMN
摘要：各個表數(shù)據(jù)的存儲文件名定義索引對象導(dǎo)出的字段信息依然用為例。通用處理索引類索引之間存在層級劃分，也就是相互之間擁有依賴關(guān)系的劃分加載全量索引其實是增量索引添加的一種特殊實現(xiàn)若初實現(xiàn)廣告推廣計劃的第二層級索引實現(xiàn)。
上一節(jié)我們實現(xiàn)了索引基本操作的類以及索引緩存工具類，本小節(jié)我們開始實現(xiàn)加載全量索引數(shù)據(jù)，在加載全量索引數(shù)據(jù)之前，我們需要先將數(shù)據(jù)庫中的表數(shù)據(jù)導(dǎo)出到一份文件中。Let"s code.
1.首先定義一個常量類，用來存儲導(dǎo)出文件存儲的目錄和文件名稱
因為我們導(dǎo)出的文件需要在搜索服務(wù)中使用到，因此，我們將文件名 & 目錄以及導(dǎo)出對象的信息編寫在mscx-ad-commom項目中。
public class FileConstant {
public static final String DATA_ROOT_DIR = "/Users/xxx/Documents/promotion/data/mysql/";
//各個表數(shù)據(jù)的存儲文件名
public static final String AD_PLAN = "ad_plan.data";
public static final String AD_UNIT = "ad_unit.data";
public static final String AD_CREATIVE = "ad_creative.data";
public static final String AD_CREATIVE_RELARION_UNIT = "ad_creative_relation_unit.data";
public static final String AD_UNIT_HOBBY = "ad_unit_hobby.data";
public static final String AD_UNIT_DISTRICT = "ad_unit_district.data";
public static final String AD_UNIT_KEYWORD = "ad_unit_keyword.data";
}
2.定義索引對象導(dǎo)出的字段信息,依然用Ad_Plan為例。
/** * AdPlanTable for 需要導(dǎo)出的表字段信息 => 是搜索索引字段一一對應(yīng) * * @author Isaac.Zhang | 若初 */ @Data @AllArgsConstructor @NoArgsConstructor public class AdPlanTable { private Long planId; private Long userId; private Integer planStatus; private Date startDate; private Date endDate; }
3.導(dǎo)出文件服務(wù)實現(xiàn)
同樣，最好的實現(xiàn)方式就是將導(dǎo)出服務(wù)作為一個子工程來獨立運行，我這里直接實現(xiàn)在了mscx-ad-db項目中
定義一個空接口，為了符合我們的編碼規(guī)范
/** * IExportDataService for 導(dǎo)出數(shù)據(jù)庫廣告索引初始化數(shù)據(jù) * * @author Isaac.Zhang | 若初 */ public interface IExportDataService { }
實現(xiàn)service
@Slf4j
@Service
public class ExportDataServiceImpl implements IExportDataService {
@Autowired
private AdPlanRepository planRepository;
/**
* 導(dǎo)出 {@code AdPlan} from DB to File
*
* @param fileName 文件名稱
*/
public void exportAdPlanTable(String fileName) {
List planList = planRepository.findAllByPlanStatus(CommonStatus.VALID.getStatus());
if (CollectionUtils.isEmpty(planList)) {
return;
}
List planTables = new ArrayList<>();
planList.forEach(item -> planTables.add(
new AdPlanTable(
item.getPlanId(),
item.getUserId(),
item.getPlanStatus(),
item.getStartDate(),
item.getEndDate()
)
));
//將數(shù)據(jù)寫入文件
Path path = Paths.get(fileName);
try (BufferedWriter writer = Files.newBufferedWriter(path)) {
for (AdPlanTable adPlanTable : planTables) {
writer.write(JSON.toJSONString(adPlanTable));
writer.newLine();
}
writer.close();
} catch (IOException e) {
e.printStackTrace();
log.error("export AdPlanTable Exception!");
}
}
}
實現(xiàn)Controller，提供操作入口
@Slf4j
@Controller
@RequestMapping("/export")
public class ExportDataController {
private final ExportDataServiceImpl exportDataService;
@Autowired
public ExportDataController(ExportDataServiceImpl exportDataService) {
this.exportDataService = exportDataService;
}
@GetMapping("/export-plan")
public CommonResponse exportAdPlans() {
exportDataService.exportAdPlanTable(String.format("%s%s", FileConstant.DATA_ROOT_DIR, FileConstant.AD_PLAN));
return new CommonResponse();
}
}
結(jié)果文件內(nèi)容如下，每一行都代表了一個推廣計劃
{"endDate":1561438800000,"planId":10,"planStatus":1,"startDate":1561438800000,"userId":10}
{"endDate":1561438800000,"planId":11,"planStatus":1,"startDate":1561438800000,"userId":10}
我們在之前編寫索引服務(wù)的時候，創(chuàng)建了一些索引需要使用的實體對象類，比如構(gòu)建推廣計劃索引的時候，需要使用到的實體對象com.sxzhongf.ad.index.adplan.AdPlanIndexObject，可是呢，我們在上一節(jié)實現(xiàn)索引導(dǎo)出的時候，實體對象又是common 包中的com.sxzhongf.ad.common.export.table.AdPlanTable，讀取出來文件中的數(shù)據(jù)只能反序列化為JSON.parseObject(p, AdPlanTable.class)，我們需要將2個對象做相互映射才能創(chuàng)建索引信息。
1.首先我們定義一個操作類型枚舉，代表我們每一次的操作類型（也需要對應(yīng)到后期binlog監(jiān)聽的操作類型）
public enum OperationTypeEnum {
ADD,
UPDATE,
DELETE,
OTHER;
public static OperationTypeEnum convert(EventType type) {
switch (type) {
case EXT_WRITE_ROWS:
return ADD;
case EXT_UPDATE_ROWS:
return UPDATE;
case EXT_DELETE_ROWS:
return DELETE;
default:
return OTHER;
}
}
}
2.因為全量索引的加載和增量索引加載的本質(zhì)是一樣的，全量索引其實就是一種特殊的增量索引，為了代碼的可復(fù)用，我們創(chuàng)建統(tǒng)一的類來操作索引。
